>>729
それだと、ローカル座標が求まってないとおもー。
そこからローカル座標を求めるためにはオブジェクトの座標系が必要だけど、
拾ってきたピクセルがどのオブジェクトに属していたのか分からないっしょ。
(アルファやステンシルにタグを載せておく手も無いではないケド・・・)
あと、場合によっては精度が結構落ちるのも問題かもですよ。

>>730
普通は原点中心にモデルを作って、それを回転→移動させますね。
原点から外れてるモデルは、仕方が無いので仰る通り、移動させて回転させて移動させます。
ちなみに視点が(0, 0, 0)にある云々は関係無いです。