PCスペックは？　MTUは？　Rwinは？　そもそも測定サイトによって違うし

＞ケーブルはカテゴリー5でもちろんギガビットイーサーに有線で繋いでます
CAT5だと100Mbpsまでじゃなかったかな？
CAT6で安いのなら5㍍で送料込みで500円とかで売ってる

とりあえずＸＰなら
NetTuneとか使ってMTU・Rwinを設定してみては（Vist以降は設定不可）
Vist以降でもAFDの
DefaultReceiveWindowとDefaultSendWindowの設定で早くなるらしいよ