あのー少しご質問よろしでしょうか？

結局、自動巡回ってリンクを辿る方向しかないのでしょうか？
Irvi○eでは構造的に取得してませんでしたっけ？
そこから抜き取るとリンクを辿る事は一切しなくても良いような気が・・・

上記ソフトは実際どのようにされてるのでしょうか？
誰かご存知ないでしょうか？