面白そうなことをしてるな

前に作ったけど、問題はサーバの負荷とデータベースの容量だった。
設定にもよるけど1500サイトを平均10ページクロールで100Mのデータそれを検索する
データベースサーバのメモリに最低でも512Mは必要

Googleみたいにクラスタ出来ればサービスを開始出来るけど・・・
専用サーバが高すぎたので断念した