フレッツサービスサイトの速度計測でも測ってみるといい。
そっちでも遅ければ近隣にヘビーユーザーがいるって事だろうし、
問題ないならアサヒネット側がボトルネックって事になる。