ただ理論から入ろうとすれば機械学習の入門は失敗すると思う
機械学習は良い結果が出るかどうかなんだよ。
だからとりあえず学習率変えてみろ！活性化関数を違うの使ってみろ！
バイアスの数値を高くしてみろ！などとりあえずで試すのが重要。
理論がめちゃくちゃでも物があってとりあえず動けば正であり、
良い結果が出るそれが過学習かどうかはそのあとから考えること。