グラフィック描画だけの問題じゃない
fpsの制御とかstateの遷移とかオブジェクトの管理とか
当たり判定とか物理演算とかキー入力とか全部自前でつくらなきゃいけない
openGLで作るってのは自前でしょっぼいゲームライブラリを作るってこと
お前はゲームが作りたいんじゃないのかとライブラリ開発が目的ならいいけど
ゲームが作りたいならunityにしとけ
自前でしょっぼいゲームライブラリ作るとか時間の無駄