マッチングサーバーを作ってそこで４人組み合わせて後はpeer to peerでと考えています。

接続時に指定するポート番号っていうのはホスト側のアプリケーション識別番号で
クライアント側は自動的に空いてるポートが使用される。。。
という考え方で合っていますか？

４人共がlistenして全員が相手３人にconectし合う場合、
４人共がポート2000の同一番号でlistenしてても問題ないでしょうか？