どなたか教えてください。
いま、X種類の色の玉がそれぞれ a1...aX 個 (総数 N=Σai) あるとします。
このときのエントロピー S を
S=-Σpi*log(pi), pi=ai/N, i=1…X
とします。いま，N個の玉を任意の部分に分割します．(例えば M 個)
それぞれの部分集合においても同じようにエントロピーが定義できます．
部分集合 j の部分エントロピーを Sj で表すとき，部分集合のエントロピーの和を
S2=ΣSj, j=1…M
とします．このとき，必ず
S≧S2
となることを証明したいのですが上手くできません。先輩によるとエントロピー増大の
法則から自明なのだそうですが… どうかよろしくお願いします．