すみません。解決しました。
読み込み時にクオータニオンのw成分にマイナスをつけると全て正常に動きました。
t-potでwにマイナスをかけてるソースがあったので真似してみました。
どうもご迷惑おかけしました。