ここでまずければスミマセン
Web上のファイル等を根こそぎダウンロードしたい場合、
巡回ツール等では、リンクが張られていないファイルは落とせないと思うのですが、
そのようなファイルまでも調べたいときはどうするのでしょうか?

よろしくお願いいたします。