ISPによる違いより、通信相手までの物理的な距離の方が影響が大きい。
サーバの近くに引っ越しましょう。