確かにD3Dのサンプルも、方向と位置を更新してから
View行列を作り、その逆行列を求める方法を取っており
行列積は使っていない。
ただ、考え方は間違っていない(と思う)のに
結果がついてこないので質問させてもらった。