>短期的視点に立った強さを求めるために使われている、というまとめでいいかな。
いいよ。
ただ、現時点では、定石データベース無しで上手くやれる
将棋のプログラムはないので。

>のp(x)は相手の指し手モデルを考慮しているよね。で、そのモデルって一体何よ？あるいは自分の指し手モデルって？
一般的な形で書けるという事は
任意のモデルで評価関数が作れる事。
将棋の評価関数を作るなら、自分相手ともに最善手を打つモデルを
目指せばいい。
強化学習では、εグリーディーと呼ばれる方策（数回に一回ランダムな行動をとり、あとは最適行動）
を使ったりするから、普通はそれを考慮する。
方策（pの確率構造）は学習とともに変化していくってのもわかるよね？

言いたい事を推測すると、距離が定義できないといいたいんだと思う。
つまり、評価関数の良さを測る尺度がないという意味だと思う。
例えば、あるプログラムの強さとの比較だと
a<b,b<c→a<c
が成り立たない。
でも、それは人間の強さを測るにしても、同じ問題が起こるわけだ。
それは往々にして「相性」という単語で片付けられているけど。
だからといって、目指す評価関数がなんなのかがわからなくなる
というわけではない。
もちろん、ある評価関数がどのくらいかを厳密に評価する基準は
今のところないと思う。

>「勝率を最大化する」というシンプルな目的と、
勝率ではなくて、利得を最大化する・・・
利得の設定の仕方は、開発者によって様々。
一番シンプルなのは、勝ったら１、負けたら-1
こう設定すれば勝率になる。