【2ch】圧縮アルゴリズム【オリジナル】
■ このスレッドは過去ログ倉庫に格納されています
0001１
NGNG中途半端に圧縮されて拡張子が.2ch
0116デフォルトの名無しさん
NGNGあと復号方法も考慮に入れてません(アカシックレコードが必要)
0117デフォルトの名無しさん
NGNGMTFは情報源の特性（無記憶とか定常とか）によって左右されるから気をつける。
最近、EffrosらによってBWTの冗長度が理論的に証明されたけど、
そこではMTFについてかなり細かく（実はそうでもないが）分析がされてたよ。
0118デフォルトの名無しさん
NGNG0119デフォルトの名無しさん
NGNG0120デフォルトの名無しさん
NGNG0121デフォルトの名無しさん
NGNGif (assyukuPattern == 0) {
int i;
while(searchPI(i++))
;
} else {
int j;
long sosuu;
while((long = getSosuu(j++)) != 0)
int i;
while(searchExp(i++, Sosuu)
;
}
put("ok");
}
private: getSosuu() {
//preaseWrite
}
private: searchPI() {
//preaseWrite
}
private: searchExp() {
//preaseWrite
}
0122デフォルトの名無しさん
NGNG圧縮可能だったら、圧縮するんだよ。無理ならやらなければいい。
それにたとえ確立が低くても、LZHやZIPが圧縮できたら神だろ？
0123デフォルトの名無しさん
NGNG素数は http://pc3.2ch.net/test/read.cgi/tech/1018657457/ に頼め
0124デフォルトの名無しさん
NGNGlong searchBit(bit* data, long assyukuPattern)
//とにかく探す
int i;
if (assyukuPattern == 0) {
searchPI(i++);
} else {
searchExpSosuu(&data, i++, assyukuPattern)
}
return i;
}
long searchPI(bit* data, long offset) {
//PIを検索する
}
long searchExpSosuu(bit* data, long offset, long sosuuno) {
//expSosuuを検索する
}
long expSosuu(long n) {
//getSosuuで取得した素数を(1/2)乗し、PIと同じく無限小数化する
}
long getSosuu(long n) {
//n番目の素数を返す(もちろんテーブルを引く)
}
0125デフォルトの名無しさん
NGNG0126デフォルトの名無しさん
NGNG> それにたとえ確率が低くても、LZHやZIPが圧縮できたら神だろ？
限りなく低いので却下
0127デフォルトの名無しさん
NGNGいや、だから初期状態のテーブルはプログラム側でもって、圧縮したファイルには
入れないんでしょう。
0128デフォルトの名無しさん
NGNG0129デフォルトの名無しさん
NGNGPPMZとかで再圧縮した方がはるかに縮みそうだ。
>>128
URR って「万能数値表現法」のこと？
ちょっと資料読んでみたけど、算術符号や、（二分）木による数値圧縮法、
などが近い考えなのではないかとふとおもた。
0130デフォルトの名無しさん
NGNG0131デフォルトの名無しさん
NGNG圧縮可能ならと言ってるが、その情報を付加するんだから情報量は基本的に増える
ことになるんだよ。円周率やら素数やら増やせば増やすほどな
それらのパターンを増やし、全ての情報パターンを表せるようになったときに
圧縮前のデータとおなじビット数が必要になることに気がつくんだよ（藁
くだらんこと言ってないで確率統計でもやってろ痴呆
0132デフォルトの名無しさん
NGNG0133デフォルトの名無しさん
NGNG0134デフォルトの名無しさん
NGNGネタにマジレスするなよ…
0135デフォルトの名無しさん
NGNGオマエモナー
0136デフォルトの名無しさん
NGNGあとがんばっても５％も減らないだろ
0137デフォルトの名無しさん
NGNGでも、BWTはアレを無視した手法強引にエントロピーを低下させてるんでしょ？
0138デフォルトの名無しさん
NGNG圧縮くわしくないけどさ
とくに2chのログなんてかなり省略できると思う
↑を圧縮
非可逆圧縮でよくない？
圧縮ｼﾗﾈｰﾖ
特に2chのログﾅﾝﾃｶﾅﾘ省略ﾃﾞｷﾙｻ
0139デフォルトの名無しさん
NGNG下のやつを展開するとどうなるんですか？
0140デフォルトの名無しさん
NGNG人工無能を搭載してありがちな反応を数パターン予測して、
その中から一致するパターンがあればそのパターン番号を出力、
失敗したら通常の圧縮って手もあるな。
つまり、擬似コードで書くとこんな感じな。
void 圧縮(前ﾚｽ, レス) {
array= 人工無能(前レス);
for(i=0; i< array.size; i++) {
if(レス== array[i]) {
出力(i);
(・∀・)ｶｴﾚ!;
}
}
出力(予測ｼﾊﾟｰｲ);
出力(通常圧縮(レス));
(・∀・)ｶｴﾚ!;
}
0141デフォルトの名無しさん
NGNGこの場合，圧縮率の高いスレは内容の少ない糞スレである確率が高い．
0142デフォルトの名無しさん
NGNG原文と一緒に圧縮して何%圧縮出来たかで 作者が同一か判定するというのがあったけど
圧縮率でクソスレ率を出すのも面白いかもね。
0143デフォルトの名無しさん
NGNGﾜﾗﾀ。むちゃくちゃ言うなよ。
エントロピーとエントロピーレートは似て非なるもの。
0144思いつきおとこ
NGNGを
「とてつちたそせすしさこけくきかおえういあ」
の反対と見るようなロジックってありました？
0145デフォルトの名無しさん
NGNGつーかlzhでいいです。
0146デフォルトの名無しさん
NGNGよくないです・・・・・lzhが拡張子だと、デフォルトではunlhaの方に渡されちゃうよ。
0147デフォルトの名無しさん
NGNGそりゃ環境依存だ。うちではlzhには何の関連付けもしていない。
unixだと関係ないしな〜
0148デフォルトの名無しさん
NGNGまぁ結局そうなんですが、やはり.lzhは避けた方がいいのでは。
負荷がかかりまくるでしょうが。
単純にhttp://をEsc文字 <a href= を \
アラーム文字 とかでいいと思うんだけどなー
0150デフォルトの名無しさん
NGNGあふぉだな
そんなくだらんことしないでgzipしたほうが圧縮率あがるんだよヴォケ
殆どgzipで転送してんだからくだらん加工してサーバーに余計な負荷かけるな史ね
0151デフォルトの名無しさん
NGNG0152デフォルトの名無しさん
NGNGうわー、おっかなーい。藁
0153デフォルトの名無しさん
NGNGはいはい。怖い怖い。
ぶるぶる〜
藁
0154
NGNG0155デフォルトの名無しさん
NGNG0156デフォルトの名無しさん
NGNG151と152と153を同一フレーズに圧縮したら非可逆になっちまうだろうが。
まあ展開結果は「クソレス3件」だけでも構わんがな。
0157デフォルトの名無しさん
NGNG真面目に考えんなＹＯ。
つーか思いついた。
２ｃｈ語を特定の数字に置き換えんの。
1,オマエモナー 2,ＹＯ 3,逝ってよし 4,１よ 5,藁・・・・・（２ｃｈ語続く）
だれか作ってくださいお願いします。,5,
0158デフォルトの名無しさん
NGNG>>95
0159デフォルトの名無しさん
NGNG特定の文字を数字にしたら
今度は数字を符号化しないといけなくなるじゃん。
0160不マジレス
NGNGそれ以外は原文字のままで１バイトずつ。
で、それら８個集めて別のフラグバイトにどっちかを示すビットを立てていく。
0161デフォルトの名無しさん
NGNG全部 9bits にするぐらいなら予約語を escape した方が縮むんじゃ…
よっぽど頻繁に出てくればともかく、平文が 9/8 に膨らむと大きそう。
0162デフォルトの名無しさん
NGNGお前は自作自演を見破れないのか？
0163がいしゅつだったらｽﾏｿ
NGNGただし、ファイルの先頭より前の部分に2chで頻出する文脈を詰めておき、
そこを初期のスライド窓の位置とする。
圧縮・展開ソフトが固定データを持ってなきゃいけないのが重大な欠点か。
0164デフォルトの名無しさん
NGNG0165デフォルトの名無しさん
NGNG. |（･∀･）|
. |￣￣￣ ｼﾞｻｸｼﾞｴﾝ共和国
△
△ｌ |
＿＿△|_.田 |△＿＿＿＿＿
|__|__門_|__|＿＿＿＿＿|＿＿＿＿＿
0166デフォルトの名無しさん
NGNG0167デフォルトの名無しさん
NGNG圧縮時はその時点での 2ch から頻度表作って詰めて、
展開時には初期の辞書で置き換えられた部分は無視するの。
…無視するなら、圧縮前に削除しちゃった方がいいか…
0168デフォルトの名無しさん
NGNG0169デフォルトの名無しさん
NGNG圧縮アルゴリズムを発見（発明）した時、
特許とかの申請はどういう風になるんですか？
0170デフォルトの名無しさん
NGNG0171デフォルトの名無しさん
NGNG0173デフォルトの名無しさん
NGNG「情報処理」にソフトウェアやアルゴリズムの特許についての話が連載中。読め。
0174デフォルトの名無しさん
NGNG0175
NGNGそんなことも知らない奴には発明なんて無理
0176デフォルトの名無しさん
NGNG0177デフォルトの名無しさん
NGNGとりあえず2chにアルゴリズムをＵＰ汁。そして各所からリンクを張られろ。
どこかの香具師が勝手に特許とっても申請前に既に一般に知られていれば
特許を無効にできると思われ。
0178デフォルトの名無しさん
NGNG. |（･∀･）|
. |￣￣￣ ｼﾞｻｸｼﾞｴﾝ民主主義人民共和国
△
△ｌ |
＿＿△|_.田 |△＿＿＿＿＿
|__|__門_|__|＿＿＿＿＿|＿＿＿＿＿
0179デフォルトの名無しさん
NGNG>>とりあえず2chにアルゴリズムをＵＰ汁。
これが一番危険と思うんですよね
２ｃｈに書き込んだのはすべて２ｃｈのものってことになってますから。
まずどっかのサーバーにウプした時点で著作権だけは保持できるはずなんですので
そのあとここに書き込むかもしれません。（まぁ無理かな、いちをおテスト中です）
0180177
NGNG＞２ｃｈに書き込んだのはすべて２ｃｈのものってことになってますから。
そうなのか、知らなかったよ。
じゃあジオとかを避けて適当にＵＰしてそのＵＲＬを2chに晒すのがいい鴨な。
以前、会社でＰＧやってる香具師が、退職時に自分の作ったコードを
自由に使えるようにする為に、会社で使う前に自分のＨＰにＵＰしてた
という話を聞いたことがあるよ。
0181デフォルトの名無しさん
NGNGんなわけねーだろ。というわけで晒しあげ。
0182デフォルトの名無しさん
NGNG0183デフォルトの名無しさん
NGNG0184デフォルトの名無しさん
NGNGそれに今話してるのは特許の話しだろ。小学生からやりなおして来い。
0185デフォルトの名無しさん
NGNG圧縮アルゴリズムが違うものでの圧縮は一回は効果ありますよね？
たとえばlzh形式をbzip2で圧縮できたりとか、、。
0186デフォルトの名無しさん
NGNG圧縮に関するすべての勉強をやり直せ。話はそれからだ。
0187デフォルトの名無しさん
NGNGあほばっか
指摘されてるほうねｗ
0188デフォルトの名無しさん
NGNGタモンって誰よ？
0189EXE系の人
NGNG確かに効果あるが
その効果はバイト単位(一部を除き)でしか確認できないと思う
逆に増えることもある思う
0190デフォルトの名無しさん
NGNGオマエも勉強を…
0191デフォルトの名無しさん
NGNG9ca53116f068eed6de59ac6540f1a036 xyzzy-0.2.2.230.lzh
$ bzip2 xyzzy-0.2.2.230.lzh
$ ls -l xyzzy-0.2.2.230.lzh.bz2
-rw-r--r-- 1540494 xyzzy-0.2.2.2lzh.bz2
$ bunzip2 xyzzy-0.2.2.230.lzh.bz2
$ md5sum.exe xyzzy-0.2.2.230.lzh
9ca53116f068eed6de59ac6540f1a036 xyzzy-0.2.2.230.lzh
$ ls -l xyzzy-0.2.2.230.lzh
-rw-r--r-- 1544223 xyzzy-0.2.2.230.lzh
>>190
んじゃこれをわかりやすいように馬鹿に説明してみてください。
0192デフォルトの名無しさん
NGNGKB単位で効果があるように見受けられるが？
ってゆーか何でわざわざMD5？
0193デフォルトの名無しさん
NGNGそのため、SOLID圧縮が有効であることからわかるように、
bzip2などで再圧縮すると、そのヘッダ部分でわずかながら圧縮される。
しかし圧縮部分自体は、LZSS+Huffmanという構成で、
特にHuffmanがエントロピー符号であることから、再圧縮効果は期待できない。
0195デフォルトの名無しさん
NGNGサンクスです。理論的に意味がないというわけですね
0196デフォルトの名無しさん
NGNG0197デフォルトの名無しさん
NGNG0198デフォルトの名無しさん
NGNG0199デフォルトの名無しさん
NGNG0200デフォルトの名無しさん
NGNG記憶容量と処理能力は別物だと思われ。
もし、しなぷすの結合のオンオフが1ビットに等価ならば、
2^140億の組み合わせがあるわけで・・・
0201デフォルトの名無しさん
NGNGimidas2002のパソコンカテゴリに答えが書いてあったはず
0202デフォルトの名無しさん
NGNGAAの圧縮なら、その絵のキャラクタインデックスとポーズを符号化するのはどう？
意味が通じればいいので、非可逆でよいわけだし、
キャラクタインデックスに20ビット、ポーズに12ビットもあれば十分。
セリフ部分やその他の特殊効果に費やすビット数を除けば、
32ビットから48ビットもあれば、AAを表現できそうだ。
例：
（ギコ猫、左向き、セリフ「逝ってよし」）
とか、
（モナー、上半身と下半身分離、ポインタ>>1）＋（斬鉄剣モナー、左右、擬音「ザシュッ」）
とか。
0203デフォルトの名無しさん
NGNG0204デフォルトの名無しさん
NGNGエントロピー符号という用語は初めて知ったよ。
ちょっとぐぐってみたんだけど定義が良く分からないので
もしよければ教えて下さい。
0205デフォルトの名無しさん
NGNGエントロピーを達成するような符号を、エントロピー符号という。
エントロピーとは、理論的に達成可能な圧縮限界のこと。
確率 p[i] が与えられているときに H(P) = -Σp[i] log p[i] がエントロピー。
エントロピーレートを漸近的に達成する符号で、
a priori な知識なしに達成するものを、ユニバーサル符号という。
エントロピーレートとは、１記号当たりの漸近的なエントロピー。
Shannon情報理論を扱った本なら、一番最初に書いてあるから読むべし。
つーか、圧縮を知りたいなら、まずエントロピーありきだから、
エントロピーを知らないと、「1/100圧縮」や「何でも圧縮」といった、
とんでも圧縮法を提案してたたかれることになる。
0206知ったか厨
NGNG0207デフォルトの名無しさん
NGNGそれは物理学の方だね！
局所的にエントロピーを減らすことは出来ても、
系全体では必ず単調非現象にあるんだね！
0208デフォルトの名無しさん
NGNG0209デフォルトの名無しさん
NGNGサンクスコ
でもハフマン法の平均符号長(L)ってエントロピー(H)に対して
H≦L＜H+1
だからエントロピーを達成できない場合もあるのでは？
0210デフォルトの名無しさん
NGNG対象が無限長なら大丈夫。
0211デフォルトの名無しさん
NGNG対象が無限長、という条件だけでは不十分と思われ。
例えばＡとＢという二つの記号からなる情報源を符号化すると
0と1になって圧縮しようがない罠。
0212デフォルトの名無しさん
NGNGそんときは -p*log_2 p は情報量みたいな言い方してた．
まだ，勉強してないからあれだけど
「エントロピーとは、理論的に達成可能な圧縮限界のこと。」
なんていわれると激しく違和感を感じる．
0213デフォルトの名無しさん
NGNGをあと一週間で発表します、今デコーダーの作成中です
期待してください。
0214デフォルトの名無しさん
NGNGHuffman符号は整数長の符号しか構成できないので、
メール欄にある通り、アルファベット拡大が必要ですな。こりゃまた失礼。
0215デフォルトの名無しさん
NGNG■ このスレッドは過去ログ倉庫に格納されています