TCPやUDPのポートについて少しご教授を。。。

IPとポート番号の関係は分かったのですが、
例えば、80番をhttpが使いますよね。
その時、ブラウザなどを複数起動したとき、自分宛に着たパケットが
どのウインドウのブラウザに行くか混乱しないのでしょうか・・・？