【2ch】圧縮アルゴリズム【オリジナル】
■ このスレッドは過去ログ倉庫に格納されています
0001１
NGNG中途半端に圧縮されて拡張子が.2ch
0153デフォルトの名無しさん
NGNGはいはい。怖い怖い。
ぶるぶる〜
藁
0154
NGNG0155デフォルトの名無しさん
NGNG0156デフォルトの名無しさん
NGNG151と152と153を同一フレーズに圧縮したら非可逆になっちまうだろうが。
まあ展開結果は「クソレス3件」だけでも構わんがな。
0157デフォルトの名無しさん
NGNG真面目に考えんなＹＯ。
つーか思いついた。
２ｃｈ語を特定の数字に置き換えんの。
1,オマエモナー 2,ＹＯ 3,逝ってよし 4,１よ 5,藁・・・・・（２ｃｈ語続く）
だれか作ってくださいお願いします。,5,
0158デフォルトの名無しさん
NGNG>>95
0159デフォルトの名無しさん
NGNG特定の文字を数字にしたら
今度は数字を符号化しないといけなくなるじゃん。
0160不マジレス
NGNGそれ以外は原文字のままで１バイトずつ。
で、それら８個集めて別のフラグバイトにどっちかを示すビットを立てていく。
0161デフォルトの名無しさん
NGNG全部 9bits にするぐらいなら予約語を escape した方が縮むんじゃ…
よっぽど頻繁に出てくればともかく、平文が 9/8 に膨らむと大きそう。
0162デフォルトの名無しさん
NGNGお前は自作自演を見破れないのか？
0163がいしゅつだったらｽﾏｿ
NGNGただし、ファイルの先頭より前の部分に2chで頻出する文脈を詰めておき、
そこを初期のスライド窓の位置とする。
圧縮・展開ソフトが固定データを持ってなきゃいけないのが重大な欠点か。
0164デフォルトの名無しさん
NGNG0165デフォルトの名無しさん
NGNG. |（･∀･）|
. |￣￣￣ ｼﾞｻｸｼﾞｴﾝ共和国
△
△ｌ |
＿＿△|_.田 |△＿＿＿＿＿
|__|__門_|__|＿＿＿＿＿|＿＿＿＿＿
0166デフォルトの名無しさん
NGNG0167デフォルトの名無しさん
NGNG圧縮時はその時点での 2ch から頻度表作って詰めて、
展開時には初期の辞書で置き換えられた部分は無視するの。
…無視するなら、圧縮前に削除しちゃった方がいいか…
0168デフォルトの名無しさん
NGNG0169デフォルトの名無しさん
NGNG圧縮アルゴリズムを発見（発明）した時、
特許とかの申請はどういう風になるんですか？
0170デフォルトの名無しさん
NGNG0171デフォルトの名無しさん
NGNG0173デフォルトの名無しさん
NGNG「情報処理」にソフトウェアやアルゴリズムの特許についての話が連載中。読め。
0174デフォルトの名無しさん
NGNG0175
NGNGそんなことも知らない奴には発明なんて無理
0176デフォルトの名無しさん
NGNG0177デフォルトの名無しさん
NGNGとりあえず2chにアルゴリズムをＵＰ汁。そして各所からリンクを張られろ。
どこかの香具師が勝手に特許とっても申請前に既に一般に知られていれば
特許を無効にできると思われ。
0178デフォルトの名無しさん
NGNG. |（･∀･）|
. |￣￣￣ ｼﾞｻｸｼﾞｴﾝ民主主義人民共和国
△
△ｌ |
＿＿△|_.田 |△＿＿＿＿＿
|__|__門_|__|＿＿＿＿＿|＿＿＿＿＿
0179デフォルトの名無しさん
NGNG>>とりあえず2chにアルゴリズムをＵＰ汁。
これが一番危険と思うんですよね
２ｃｈに書き込んだのはすべて２ｃｈのものってことになってますから。
まずどっかのサーバーにウプした時点で著作権だけは保持できるはずなんですので
そのあとここに書き込むかもしれません。（まぁ無理かな、いちをおテスト中です）
0180177
NGNG＞２ｃｈに書き込んだのはすべて２ｃｈのものってことになってますから。
そうなのか、知らなかったよ。
じゃあジオとかを避けて適当にＵＰしてそのＵＲＬを2chに晒すのがいい鴨な。
以前、会社でＰＧやってる香具師が、退職時に自分の作ったコードを
自由に使えるようにする為に、会社で使う前に自分のＨＰにＵＰしてた
という話を聞いたことがあるよ。
0181デフォルトの名無しさん
NGNGんなわけねーだろ。というわけで晒しあげ。
0182デフォルトの名無しさん
NGNG0183デフォルトの名無しさん
NGNG0184デフォルトの名無しさん
NGNGそれに今話してるのは特許の話しだろ。小学生からやりなおして来い。
0185デフォルトの名無しさん
NGNG圧縮アルゴリズムが違うものでの圧縮は一回は効果ありますよね？
たとえばlzh形式をbzip2で圧縮できたりとか、、。
0186デフォルトの名無しさん
NGNG圧縮に関するすべての勉強をやり直せ。話はそれからだ。
0187デフォルトの名無しさん
NGNGあほばっか
指摘されてるほうねｗ
0188デフォルトの名無しさん
NGNGタモンって誰よ？
0189EXE系の人
NGNG確かに効果あるが
その効果はバイト単位(一部を除き)でしか確認できないと思う
逆に増えることもある思う
0190デフォルトの名無しさん
NGNGオマエも勉強を…
0191デフォルトの名無しさん
NGNG9ca53116f068eed6de59ac6540f1a036 xyzzy-0.2.2.230.lzh
$ bzip2 xyzzy-0.2.2.230.lzh
$ ls -l xyzzy-0.2.2.230.lzh.bz2
-rw-r--r-- 1540494 xyzzy-0.2.2.2lzh.bz2
$ bunzip2 xyzzy-0.2.2.230.lzh.bz2
$ md5sum.exe xyzzy-0.2.2.230.lzh
9ca53116f068eed6de59ac6540f1a036 xyzzy-0.2.2.230.lzh
$ ls -l xyzzy-0.2.2.230.lzh
-rw-r--r-- 1544223 xyzzy-0.2.2.230.lzh
>>190
んじゃこれをわかりやすいように馬鹿に説明してみてください。
0192デフォルトの名無しさん
NGNGKB単位で効果があるように見受けられるが？
ってゆーか何でわざわざMD5？
0193デフォルトの名無しさん
NGNGそのため、SOLID圧縮が有効であることからわかるように、
bzip2などで再圧縮すると、そのヘッダ部分でわずかながら圧縮される。
しかし圧縮部分自体は、LZSS+Huffmanという構成で、
特にHuffmanがエントロピー符号であることから、再圧縮効果は期待できない。
0195デフォルトの名無しさん
NGNGサンクスです。理論的に意味がないというわけですね
0196デフォルトの名無しさん
NGNG0197デフォルトの名無しさん
NGNG0198デフォルトの名無しさん
NGNG0199デフォルトの名無しさん
NGNG0200デフォルトの名無しさん
NGNG記憶容量と処理能力は別物だと思われ。
もし、しなぷすの結合のオンオフが1ビットに等価ならば、
2^140億の組み合わせがあるわけで・・・
0201デフォルトの名無しさん
NGNGimidas2002のパソコンカテゴリに答えが書いてあったはず
0202デフォルトの名無しさん
NGNGAAの圧縮なら、その絵のキャラクタインデックスとポーズを符号化するのはどう？
意味が通じればいいので、非可逆でよいわけだし、
キャラクタインデックスに20ビット、ポーズに12ビットもあれば十分。
セリフ部分やその他の特殊効果に費やすビット数を除けば、
32ビットから48ビットもあれば、AAを表現できそうだ。
例：
（ギコ猫、左向き、セリフ「逝ってよし」）
とか、
（モナー、上半身と下半身分離、ポインタ>>1）＋（斬鉄剣モナー、左右、擬音「ザシュッ」）
とか。
0203デフォルトの名無しさん
NGNG0204デフォルトの名無しさん
NGNGエントロピー符号という用語は初めて知ったよ。
ちょっとぐぐってみたんだけど定義が良く分からないので
もしよければ教えて下さい。
0205デフォルトの名無しさん
NGNGエントロピーを達成するような符号を、エントロピー符号という。
エントロピーとは、理論的に達成可能な圧縮限界のこと。
確率 p[i] が与えられているときに H(P) = -Σp[i] log p[i] がエントロピー。
エントロピーレートを漸近的に達成する符号で、
a priori な知識なしに達成するものを、ユニバーサル符号という。
エントロピーレートとは、１記号当たりの漸近的なエントロピー。
Shannon情報理論を扱った本なら、一番最初に書いてあるから読むべし。
つーか、圧縮を知りたいなら、まずエントロピーありきだから、
エントロピーを知らないと、「1/100圧縮」や「何でも圧縮」といった、
とんでも圧縮法を提案してたたかれることになる。
0206知ったか厨
NGNG0207デフォルトの名無しさん
NGNGそれは物理学の方だね！
局所的にエントロピーを減らすことは出来ても、
系全体では必ず単調非現象にあるんだね！
0208デフォルトの名無しさん
NGNG0209デフォルトの名無しさん
NGNGサンクスコ
でもハフマン法の平均符号長(L)ってエントロピー(H)に対して
H≦L＜H+1
だからエントロピーを達成できない場合もあるのでは？
0210デフォルトの名無しさん
NGNG対象が無限長なら大丈夫。
0211デフォルトの名無しさん
NGNG対象が無限長、という条件だけでは不十分と思われ。
例えばＡとＢという二つの記号からなる情報源を符号化すると
0と1になって圧縮しようがない罠。
0212デフォルトの名無しさん
NGNGそんときは -p*log_2 p は情報量みたいな言い方してた．
まだ，勉強してないからあれだけど
「エントロピーとは、理論的に達成可能な圧縮限界のこと。」
なんていわれると激しく違和感を感じる．
0213デフォルトの名無しさん
NGNGをあと一週間で発表します、今デコーダーの作成中です
期待してください。
0214デフォルトの名無しさん
NGNGHuffman符号は整数長の符号しか構成できないので、
メール欄にある通り、アルファベット拡大が必要ですな。こりゃまた失礼。
0215デフォルトの名無しさん
NGNG0216デフォルトの名無しさん
NGNG>>213
0217デフォルトの名無しさん
NGNG単語に分割して重み付けによって符号化する手法ですか？
それって、LZ77とLZ78まぜた方法LZFG,LZYGとは違うのですか？
（LZ77の一致位置を、単語の区切りにしか設定できない制限を置くというやつ？）
0218デフォルトの名無しさん
NGNG0219学生
NGNG天才をはるかに超えた存在だ
0220デフォルトの名無しさん
NGNGしかし、後18ヶ月もするとさらに18エクサバイト増えるらしい。
>>219
「天才をはるかに超えた存在」・・・つまり馬鹿ってことだな
0221デフォルトの名無しさん
NGNG但し、復元できません……ですか？
0222デフォルトの名無しさん
NGNG「あらゆるデータをまるで乱数のように復号しますので、
必要なデータを見つけるまで復号しつづけてください」
って感じだろ・・・
0223デフォルトの名無しさん
NGNGRangeEncoderってなんじゃらほい
0224デフォルトの名無しさん
NGNGマイクロ波で加熱する圧縮方法
0225デフォルトの名無しさん
NGNGなるほど、ＧＣＡってすごいですね。
だから糞重いのか
0226213 ◆2m/csy02kQ
NGNGむちゃくちゃ圧縮とかいう話ではありません。
むしろ圧縮率は極端にわるいです。
ただハフマンかブロックソーティングと組み合わせれば
使いものになるかもしれません。
私は科学畑の人間でないので
既出の概念かどうかをここで確認させてもらおうという話です。
0227デフォルトの名無しさん
NGNG圧縮の基礎だけでも勉強しておいた方が良い。
圧縮は、「圧縮 ＝ モデル化 ＋ 確率統計（確率推定） ＋ 符号化」で構成される。
算術符号やHuffman符号は、（それ単体が「圧縮」を構成するものだが）符号化。
モデルはn次マルコフ連鎖とか、実装で言えばPPMやMTF、ブロックソーティングも該当する。
確率推定はモデル化や符号化に統合されていることが多いが、
次に a の出る確率は 1/2 である、と計算すること。
>>226の何かを Ｘ としよう。>>226が考えているのは、
「Ｘ ＋ 符号化」あるいは「モデル化 ＋ Ｘ」となる。
上記の「圧縮」の概念図に照らし合わせると、Ｘは確率推定を含む部分に相当する、
と推測される。
・・・で、>>226のアイデアって何？
0228デフォルトの名無しさん
NGNGrangecoder は算術符号の一種で、
Jonesの考案した整数による算術符号を改善したものに相当する・・・のか？
参考にしたところ：
ttp://www.compressconsult.com/rangecoder/
ttp://www.tomozo.ne.jp/yamazaki/download/doc_basic_compression.htm#RangeCoder
ttp://www.isl.cs.gunma-u.ac.jp/~shingo/labo/algo.html
0229デフォルトの名無しさん
NGNG0230デフォルトの名無しさん
NGNG暗記しておくってのはダメですか？
0231デフォルトの名無しさん
NGNG意見、賛成、反対、ＡＡ、get、煽り、荒らし、長文、吉野家
くらいに圧縮できるな。
例：
1 名前：デフォルトの名無しさん 投稿日：01/01/01 01:01
意見
2 名前：デフォルトの名無しさん 投稿日：01/01/01 01:02
2get
3 名前：デフォルトの名無しさん 投稿日：01/01/01 01:03
>>1 反対
意見
4 名前：デフォルトの名無しさん 投稿日：01/01/01 01:04
>>3 荒らし
こんな感じじゃだめか？
0232デフォルトの名無しさん
NGNG0233デフォルトの名無しさん
NGNGまぁ、アフォを社会から隔離しておくにはちょうど良いシステムかもな。
おまいら、もっと学習しる！！データ圧縮に関してあまりにも無知すぎる。
まずは、ぐぐれ！
0234デフォルトの名無しさん
NGNG↓
使用頻度の高い単語を文字コードで使われていないコードに置換
※例. 逝って→0x7743(コードは適当)
↓
2chのスレを解析して作った頻度表を初期状態として
動的レンジコーダで圧縮。
↓
(゜Д゜)ｳｰ
0235デフォルトの名無しさん
NGNGそれはLZ77+78から派生するアルゴリズムとか、
7bit-ASCII(0-127)の単語を(128-255)に割り当てる手法などで、
すでに提案されている。
0236デフォルトの名無しさん
NGNG言葉遣いが滅茶苦茶なので、形態素解析が満足に出来ない罠。
「うつだしのう」ひとつとっても、変換がばらばらなので統計情報も偏らない・・・
0237デフォルトの名無しさん
NGNG＞まだ，勉強してないからあれだけど
＞「エントロピーとは、理論的に達成可能な圧縮限界のこと。」
＞なんていわれると激しく違和感を感じる．
なぜ？ まさかお前はエントロピー以上に圧縮できるとでも主張する気か？
0238デフォルトの名無しさん
NGNG言ってる理論を覆すのは無理と思われ。
0239デフォルトの名無しさん
NGNGエントロピーは無記憶情報源モデルとして求めた値なので
それ以外のモデルを使って圧縮すればエントロピー以上に圧縮できる。
0240しぃ豆 ◆hGFTP/i/.A
NGNGランレングスも効きそうな気がする。
0241デフォルトの名無しさん
NGNGお前もうちょっと勉強してから発言しろよな。
無記憶情報源以外のモデルを使ったら、そのモデルの上での
エントロピーがあるだろうが。
0242デフォルトの名無しさん
NGNGttp://isweb43.infoseek.co.jp/art/dempzone/up/2002101123025890.pdf
0243デフォルトの名無しさん
NGNG0244デフォルトの名無しさん
NGNGここでそのスレタイを聞くとは
0245デフォルトの名無しさん
NGNGうまく言えないんだが, 212 は例えば 205 の
>エントロピーを達成するような符号を
のような言葉の使い方に違和感を覚えてるんだと思う.
俺も知りたいんだけど, こういう言い方ってするんだっけ ?
0246デフォルトの名無しさん
NGNGするよ。
0247デフォルトの名無しさん
NGNG俺の周辺だけ？と思ったのでぐぐってみた。「エントロピー 達成する 符号」
あ、大丈夫そうだ。
誤り率とか、冗長度についても「〜を達成する符号」ということが確認できた。
0248デフォルトの名無しさん
NGNG究極のモデルを使えばどんなデータも0bitに圧縮できるな。
0249デフォルトの名無しさん
NGNGいうだけいって、何も説明できない
アホの大将
こいつ以上のアホは、そうは居ない
0250デフォルトの名無しさん
NGNGまぁ、アフォを社会から隔離しておくにはちょうど良いシステムかもなっ…！
おまいら、もっと…！もっと…！学習しる！！データ圧縮に関してあまりにも無知すぎるっ…！
まずは、ぐぐれ！
0251デフォルトの名無しさん
NGNGち ゃ ん と 元 に 戻 せ る か ど う か
だということに気づけ。そうすれば、元に戻せるためには
もともと持っていた情報量（エントロピー）より小さくできない
こともわかるだろ。
0252213 ◆2m/csy02kQ
NGNG手元のエンコーダー、デコーダーでデータの整合性がとれたので公開します。
わからないところがあれば説明します。
http://www61.tok2.com/home/jnc/
サンプルのjnc.plはまだ4Kバイトを越えたファイルを処理できません。
使い方は、
jnc.pl -e filename エンコード->*.jncファイル生成
jnc.pl -d *.jnc デコード ->D*ファイル生成
エラー吐きまくりますが処理に問題はないはずです。
■ このスレッドは過去ログ倉庫に格納されています