>>719
depthbuffer から座標を求めればいいと思うけど、そういうことではないのか？

glGetIntegerv(GL_VIEWPORT, viewport);
glGetDoublev(GL_PROJECTION_MATRIX, prMat);
glGetDoublev(GL_MODELVIEW_MATRIX, moMat);
glReadPixels(point.x, viewport[3] - point.y, 1, 1, GL_DEPTH_COMPONENT, GL_FLOAT, &pkDepth);
gluUnProject(point.x, viewport[3] - point.y, pkDepth, moMat, prMat, viewport, &wx, &wy, &wz);

こんな感じ。