前もネットワーク〜の方で説明したが、TIME_WAITに限らず、
ソケット扱うなら、一通りよんどけ。
http://www.kt.rim.or.jp/~ksk/sock-faq/unix-socket-faq-ja-2.html#ss2.7

>切断してすぐに同じポートに接続しようとするとソケットエラーでは
クライアントのソケットをポート指定で作っていないかぎり、こんな
エラーは起こらないはずだが。