じゃ、漏れが>>1の話し相手になってやる。

まず、どんなことがやりたいのか明確にしよう。
>>36の書いているように、クローラ、インデクサなんかも自分で作るのか、
>>41みたいに、基本的な部分は外部に任せちゃって、得られた結果を絞り込むのか？