>>127さんの言う仕様であればクローラー型もやphpでも十分できますね。
クローラー型よりディレクトリ型の方が簡単でしょうか。

クローラー型と、ディレクトリ型とはまた違うタイプのものを作るのも楽しいかも。
実現できるできないはおいといて考えるだけで楽しくなりますね。

>>1は何を作るか仕様などをはっきり決めてください。