将来ゲームプログラマになりたいんですが、プログラマ的には数学と物理学ってどのくらいまで勉強すればいいんでしょうか？

物理学と数学を勉強しすぎると時間がいくらあっても足りないですよね。
ちなみに大学課程の話です。