例えば

1. Web情報収集では
ページ毎の更新頻度はマチマチですよね？また明らかにニュースサイトの
ようにPRが高い上に更新頻度が超高いURLを別DB化し他のURLとは別に高速
巡回しindexing & mergeする際、それをどういうロジックによって認識さ
せるのが吉なのかとか、どう思います？httpgetで返してくる更新日って
webサーバーによって違うので正確じゃないし、かといってファイル自体の
dateを拾うとすれば負荷がかかる。またニュースサイトであるという認識も
完全自動は難しく人手が必要ですが、何とかロジック化できれば、何段階か
の巡回頻度別にDBをわけることでより効率よく最新のWeb情報を反映できるの
ではないかと思います。