両方フレッツ光にして
http://ascii.jp/elem/000/000/484/484880/
でも試してみるとか。
ADSLだと上り速度と遅延のせいでそんなものだろうし、光同士でもプロバイダーによるだろうけどウチの環境だと6〜10Mbpsぐらいよ。