>>68
確率分布 p(i) の q(i) に対するダイバージェンスは、
D(p||q) = 農i p(i) log(p(i)/q(i))
で求められます。
情報源 p(i) に対するモデル q(i) との差分（距離）を表すわけです。