>ところでわざわざ（擬）距離と呼ぶからにはその性質を使って何か分かるのですか
>例えばKL擬距離で何か興味の持てる位相は作れますか？

KL を距離的な量として考える際のポイントをいくつかあげておきませう。

1. 微分幾何学的な観点からすると、KL は距離そのもの
というよりも、距離の二乗に近いものと考えられる。
KL(p,q)≠KL(q, p) という非対称性は、情報幾何でいう
ところの双対接続という概念と深く関係している。

2. 統計学的観点からすると、KL は二つの確率分布を
観測データからどれぐらいの精度で識別できるかという
限界値を意味している（Stein の補題）。KL の非対称性は、
仮説検定における第一種誤り確率と第二種誤り確率の扱い方
の非対称性に由来する。