クローラー型検索エンジンってどういう仕組みなんだろう。
urlを独自の辞書でclackしていろんなURLを作成して手当たり次第アクセスしてんのかな。
でもそれだと存在しないURLもあるわけでスパムになるしなあ。
思いつかない・・・