komagataのブログ

XangoはPerlで書かれた汎用クローラーフレームワークです。イベント型フレームワークPOEを使用することにより高速なクローリングが可能です。実装にもよりますが、単一プロセス内でインデックシングや文字コードの変換等の処理を同時に行うアプリケーションでも１秒に５～８ URL、１時間で 18000 ~ 22000 URLの処理が行えます。

超よさそ・・・。 こんな情報を発見しましたが、一番やりたいのがクローラのスレッド化なので意味ないか･･･。