>>82
robot.txtで拒否されてもう魚拓が取れないな。
図書館側がサーバーのrobot.txtを書き換えたのが明白。
今後クローラーを拒否するという意思表示をしたことになる。

ところで、
ウエブ魚拓のサイトで
http://www.library.okazaki.aichi.jp/tosho/about/files/20100901.html
の魚拓を撮ろうとすると、これまで撮られた魚拓へのリンクが８つ表示される。
その全部が非公開になってる。

すでに撮られた魚拓がなぜ非公開になっているのか分からない。
図書館側が要請したならこれもまた許せない話だが、魚拓サーバー側が自動処理してる可能性もある。