QTSS単独でのストリーミングですか？
QTSS+QTBCのブロードキャスティングですか？

まず、付属のsample_300Kbit.mp4を配信して、
quicktimeolayer(QT6)でurlを開くで再生してみてください。

rtsp://サーバのipアドレス:554/sample_300Kbit.mp4

これで、サンプルムービーを再生できれば、QTSSはもーまんたいのはずです。

まずは、これから。