小高知宏の機械学習と深層学習に書かれているQ学習が分からないです。

前半のロボットを例にした説明は大体分かります。

ところが迷路を例にした例が分かりません。

分からないので、Cで書かれたプログラムを読んでみました。

S14という状態がゴールのようです。（S14に達すると報酬がもらえるため）

でも、迷路のプログラムの目的はゴールへ到達することです。
だとすれば、S14に達した時点で目的達成ということになるので
はないでしょうか？だから、学習した成果であるQ値のテーブルが
何の役に立つのか分かりません。1度ゴールにたどり着けばもう
用済みなのではないかと思ってしまいます。

それともう一つ分からないのは、

p.66の2式

qv = qvalue[s] + ALPHA * (1000 - qvalue[s]);
qv = qvalue[s] + ALPHA * (GAMMA * qmax - qvalue[s]);;

です。なぜこのような式で、 Q値を更新しているのでしょうか？