RTSPというプロトコルはTCPで搬送するらしいのですが、
これってメッセージをやり取りするたびにTCPのコネクションって
切っても良いものでしょうか?

RTSPを使うアプリを見てると基本的にTCPのコネクションを維持しているようです。