>>249
ページのリンクからリンクへと次々飛んで情報を集め続けるプログラムを走らせる。
実際にはもっと複雑な工夫があってそれが企業秘密なんだろうが。