>89
ごめんなさい、意味がちょっとわからなかったです。
あるフォーマットで書かれているデータは
そのフォーマットで読まなければなりません。
それは前提としてあると思います。

CDDAにはWAVファイルのように音声データがシリーズで
並んでいるわけではありません。
フレームはTCPやIPでおなじみのパケットのように
データ構造を持っています。
つまり音声データは各フレームに24バイトずつ
ペイロードとして分散されているんです。
それをペイロードだけをつなぎ合わせて上位レイヤーに渡すんですね。
そこで意味のある音声データとして解釈される。

私の憶測ではフレームズレとは別に
ペイロードが渡されるときに遅延が
発生するのではないかと疑っています。
そうすれば先頭データの欠落と言う形で
6サンプル単位にならない説明も付く気がするのですがね。