そのおかしなアニメーションの時のクォータニオンと変換した行列を調べて何がいけないのか原因をつきとめればいい
バグに困ったらデバッグしよう