仰る通り OpenGL は描画以外のことは関知しない。
そもそも、OpenGL そのものにはキーとかマウスとかいった概念自体がない。
フルスクリーンとかウィンドウ表示とかいったことも範囲外。
単純に描画の部分しか扱わないので、それ以外はすべて OS 依存になる。

具体的には、Windows ならウィンドウメッセージを処理して IMM を叩く、
Mac なら NSTextInput プロトコルを実装する、Linux なら XIM を触る、
・・・といった感じになるかと。
個人的な経験で言うと、IME の制御は環境差が結構あって、
その差異を吸収しようとすると、わりと面倒かった記憶がある。

OS に依存したくなければ、Anthy みたいなフリーの IME を拾ってきて
自分のプログラム内に組み込むっていう方法もあるけど、どうだろうかね。