サーバ側の accept を回す処理が追いつかなくてバックログがあふれたとか？
listen をいくら大きくしても、あれただのヒントだった気がするが・・・