Thread.Sleep(5)入れただけでぴたっとソケットエラー出なくなった
いままで悩んでたのがあほらしくなった