openGL的にはeyeをcenter分引いてオブジェクト座標系？に持ってきて回転行列か
でもこれは回転方向と軸方向を一致させないと駄目っぽいか

数学できるならhttp://www.cg.info.hiroshima-cu.ac.jp/~miyazaki/knowledge/tech07.html
このへん見ながら直接eye upを操作させるとか

なんか俺がOpenGL使えてない気がしてきた