>>12
2枚の画像の点の対応からカメラのパラメータを復元する方法はあって、
Eight-Point Algorithmとかいうものをつかって、8点が決まるとエピポーラ幾何のFundamental Matrixが求まるんだそうだ。

これを使えば、はじめに任意の8点でキャリブレーションを行っておければ、カメラの位置は適当でよくて、
あとはエピポーラ幾何でわかったカメラパラメータを用いて
2つのカメラからレイを飛ばして交点が元の点ってことになるような気がするけどダメですかね。