>>97
>お勧めの本ってあります？

KL をめぐるさまざまな数学を一冊にまとめた本があるといい
と思うけど、残念ながら見たことなし。（誰か書いて。）
今のところ、情報理論の洋書(Cover and Thomas, Blahut, etc.),
情報幾何の教科書 (Amari, Amari and Nagaoka, etc.) , 大偏差
の洋書(Dembo and Zeitouni, etc.), Csiszar の論文,等々で
個別的な知識を学ぶしかないでしょう。（何も全部読む必要は
ないが。）あまり役に立たない情報ですまん。今後とも KLを
よろしく。