参考までに俺がゲーム用ライブラリを作るときの手順は、

1.まずその分野のゲームを作る
2.将来ライブラリ化する予定の部分は別ファイルにして#includeするだけで使えるようにして作っていく
3.マジックナンバーを削ってマジックナンバーだった部分は初期化などで設定できるようにする
4.それをincludeするだけで使えるか確認するために同じ分野の別ゲーを作る
5.前回では見えなかった特定のゲーム依存の部分を汎用できるようにブラッシュアップ
6.ライブラリ化
7.その頃にはその分野のゲームを作るのに飽きている

素人でもこの手順でやれば作れる
もちろんプロは設計から入るからこんな手順踏まないけど