単にサーバとクライアントで使ってるIPが違うだけという話じゃないか？
あとIPEndPointのコンストラクタは(IPAddress, Integer)って引数のオーバーロードもあるから、
わざわざ.Addressを取得する必要はないよ。