タグを抜いたページのキャッシュをバッチリGETし鯖に保存して置き、
それを次回クロール時から1バイト単位で重量比較監視する。
重さに変化が見られれば、検索結果にそのページを表示させる。
つまり、初出URLは一度目からは検索対象にしないということ。

半年間変化が無いものは検索側の結果表示から排除する。
その後も監視しつづけ、また変化があれば検索に載せる。

つまりWWWCを数十億ページ単位でやるような感じ。
人がやって数百も無いページ数でも管理が大変なんだから、
それをいかに自動化させるかが問題。とにかくハードが大変。


--よいページとは随時更新され続けるページのことである--　by 名無し語録