>fpsの制御とかstateの遷移とかオブジェクトの管理とか
>当たり判定とか物理演算とかキー入力とか全部自前で

それが全部必要なゲームならそうだろうけども、
それが全部必要なゲームって最新の3Dゴリゴリ使ったやつだけだろ。

ユニティ使わずに何本かリリースしてるけど、
自作ライブラリ作るのはそんなに大変ではない。
それより大変なのが自分のゲーム特有の設計のほう。