>>346
＞一定の規則で数値が並んだ場合、その規則をコードで表現
だから、それは情報理論の基礎中の基礎でしょう。

>>340の表現がまずいのかもしれないけど、
＞その情報のパターンを記述するのに、パターンと同じ情報量が必要
は、無ひずみデータ圧縮では「当然」の記述。
無ひずみ圧縮とは、情報量を変えずに見た目の長さを短くすること、です。
情報量が変化するのは有ひずみ圧縮と呼ばれます。

なお、＞プログラムでデータを作るとか言ってる
については、文法による圧縮に代表される手法が該当し、
この「プログラム」に必要な表現の長さが、元のデータよりも短くなる
ような表現が存在するならば、圧縮が行われたことになります。

たとえば、001001100 -> S->AAB, A->C1, B->1C, C->00
という文法(データ生成プログラム)に変換し、その文法を符号化する訳です。
代表的なものにMPMなどがあります。

もしかして>>340の記述は>>328についていったのかもしれないが、
この場合は、数え上げ符号に相当します。
数え上げ符号は Cover らによって考案された手法で、
オレ天圧縮同様、インデックスを得てそれを符号化する手法ですが、
理論的な証明が行われている、何ら問題ない手法です。
復号の際に、インデックス「n番目」をプログラムで記号列に復号します。