【2ch】圧縮アルゴリズム【オリジナル】
■ このスレッドは過去ログ倉庫に格納されています
0001１
NGNG中途半端に圧縮されて拡張子が.2ch
0175
NGNGそんなことも知らない奴には発明なんて無理
0176デフォルトの名無しさん
NGNG0177デフォルトの名無しさん
NGNGとりあえず2chにアルゴリズムをＵＰ汁。そして各所からリンクを張られろ。
どこかの香具師が勝手に特許とっても申請前に既に一般に知られていれば
特許を無効にできると思われ。
0178デフォルトの名無しさん
NGNG. |（･∀･）|
. |￣￣￣ ｼﾞｻｸｼﾞｴﾝ民主主義人民共和国
△
△ｌ |
＿＿△|_.田 |△＿＿＿＿＿
|__|__門_|__|＿＿＿＿＿|＿＿＿＿＿
0179デフォルトの名無しさん
NGNG>>とりあえず2chにアルゴリズムをＵＰ汁。
これが一番危険と思うんですよね
２ｃｈに書き込んだのはすべて２ｃｈのものってことになってますから。
まずどっかのサーバーにウプした時点で著作権だけは保持できるはずなんですので
そのあとここに書き込むかもしれません。（まぁ無理かな、いちをおテスト中です）
0180177
NGNG＞２ｃｈに書き込んだのはすべて２ｃｈのものってことになってますから。
そうなのか、知らなかったよ。
じゃあジオとかを避けて適当にＵＰしてそのＵＲＬを2chに晒すのがいい鴨な。
以前、会社でＰＧやってる香具師が、退職時に自分の作ったコードを
自由に使えるようにする為に、会社で使う前に自分のＨＰにＵＰしてた
という話を聞いたことがあるよ。
0181デフォルトの名無しさん
NGNGんなわけねーだろ。というわけで晒しあげ。
0182デフォルトの名無しさん
NGNG0183デフォルトの名無しさん
NGNG0184デフォルトの名無しさん
NGNGそれに今話してるのは特許の話しだろ。小学生からやりなおして来い。
0185デフォルトの名無しさん
NGNG圧縮アルゴリズムが違うものでの圧縮は一回は効果ありますよね？
たとえばlzh形式をbzip2で圧縮できたりとか、、。
0186デフォルトの名無しさん
NGNG圧縮に関するすべての勉強をやり直せ。話はそれからだ。
0187デフォルトの名無しさん
NGNGあほばっか
指摘されてるほうねｗ
0188デフォルトの名無しさん
NGNGタモンって誰よ？
0189EXE系の人
NGNG確かに効果あるが
その効果はバイト単位(一部を除き)でしか確認できないと思う
逆に増えることもある思う
0190デフォルトの名無しさん
NGNGオマエも勉強を…
0191デフォルトの名無しさん
NGNG9ca53116f068eed6de59ac6540f1a036 xyzzy-0.2.2.230.lzh
$ bzip2 xyzzy-0.2.2.230.lzh
$ ls -l xyzzy-0.2.2.230.lzh.bz2
-rw-r--r-- 1540494 xyzzy-0.2.2.2lzh.bz2
$ bunzip2 xyzzy-0.2.2.230.lzh.bz2
$ md5sum.exe xyzzy-0.2.2.230.lzh
9ca53116f068eed6de59ac6540f1a036 xyzzy-0.2.2.230.lzh
$ ls -l xyzzy-0.2.2.230.lzh
-rw-r--r-- 1544223 xyzzy-0.2.2.230.lzh
>>190
んじゃこれをわかりやすいように馬鹿に説明してみてください。
0192デフォルトの名無しさん
NGNGKB単位で効果があるように見受けられるが？
ってゆーか何でわざわざMD5？
0193デフォルトの名無しさん
NGNGそのため、SOLID圧縮が有効であることからわかるように、
bzip2などで再圧縮すると、そのヘッダ部分でわずかながら圧縮される。
しかし圧縮部分自体は、LZSS+Huffmanという構成で、
特にHuffmanがエントロピー符号であることから、再圧縮効果は期待できない。
0195デフォルトの名無しさん
NGNGサンクスです。理論的に意味がないというわけですね
0196デフォルトの名無しさん
NGNG0197デフォルトの名無しさん
NGNG0198デフォルトの名無しさん
NGNG0199デフォルトの名無しさん
NGNG0200デフォルトの名無しさん
NGNG記憶容量と処理能力は別物だと思われ。
もし、しなぷすの結合のオンオフが1ビットに等価ならば、
2^140億の組み合わせがあるわけで・・・
0201デフォルトの名無しさん
NGNGimidas2002のパソコンカテゴリに答えが書いてあったはず
0202デフォルトの名無しさん
NGNGAAの圧縮なら、その絵のキャラクタインデックスとポーズを符号化するのはどう？
意味が通じればいいので、非可逆でよいわけだし、
キャラクタインデックスに20ビット、ポーズに12ビットもあれば十分。
セリフ部分やその他の特殊効果に費やすビット数を除けば、
32ビットから48ビットもあれば、AAを表現できそうだ。
例：
（ギコ猫、左向き、セリフ「逝ってよし」）
とか、
（モナー、上半身と下半身分離、ポインタ>>1）＋（斬鉄剣モナー、左右、擬音「ザシュッ」）
とか。
0203デフォルトの名無しさん
NGNG0204デフォルトの名無しさん
NGNGエントロピー符号という用語は初めて知ったよ。
ちょっとぐぐってみたんだけど定義が良く分からないので
もしよければ教えて下さい。
0205デフォルトの名無しさん
NGNGエントロピーを達成するような符号を、エントロピー符号という。
エントロピーとは、理論的に達成可能な圧縮限界のこと。
確率 p[i] が与えられているときに H(P) = -Σp[i] log p[i] がエントロピー。
エントロピーレートを漸近的に達成する符号で、
a priori な知識なしに達成するものを、ユニバーサル符号という。
エントロピーレートとは、１記号当たりの漸近的なエントロピー。
Shannon情報理論を扱った本なら、一番最初に書いてあるから読むべし。
つーか、圧縮を知りたいなら、まずエントロピーありきだから、
エントロピーを知らないと、「1/100圧縮」や「何でも圧縮」といった、
とんでも圧縮法を提案してたたかれることになる。
0206知ったか厨
NGNG0207デフォルトの名無しさん
NGNGそれは物理学の方だね！
局所的にエントロピーを減らすことは出来ても、
系全体では必ず単調非現象にあるんだね！
0208デフォルトの名無しさん
NGNG0209デフォルトの名無しさん
NGNGサンクスコ
でもハフマン法の平均符号長(L)ってエントロピー(H)に対して
H≦L＜H+1
だからエントロピーを達成できない場合もあるのでは？
0210デフォルトの名無しさん
NGNG対象が無限長なら大丈夫。
0211デフォルトの名無しさん
NGNG対象が無限長、という条件だけでは不十分と思われ。
例えばＡとＢという二つの記号からなる情報源を符号化すると
0と1になって圧縮しようがない罠。
0212デフォルトの名無しさん
NGNGそんときは -p*log_2 p は情報量みたいな言い方してた．
まだ，勉強してないからあれだけど
「エントロピーとは、理論的に達成可能な圧縮限界のこと。」
なんていわれると激しく違和感を感じる．
0213デフォルトの名無しさん
NGNGをあと一週間で発表します、今デコーダーの作成中です
期待してください。
0214デフォルトの名無しさん
NGNGHuffman符号は整数長の符号しか構成できないので、
メール欄にある通り、アルファベット拡大が必要ですな。こりゃまた失礼。
0215デフォルトの名無しさん
NGNG0216デフォルトの名無しさん
NGNG>>213
0217デフォルトの名無しさん
NGNG単語に分割して重み付けによって符号化する手法ですか？
それって、LZ77とLZ78まぜた方法LZFG,LZYGとは違うのですか？
（LZ77の一致位置を、単語の区切りにしか設定できない制限を置くというやつ？）
0218デフォルトの名無しさん
NGNG0219学生
NGNG天才をはるかに超えた存在だ
0220デフォルトの名無しさん
NGNGしかし、後18ヶ月もするとさらに18エクサバイト増えるらしい。
>>219
「天才をはるかに超えた存在」・・・つまり馬鹿ってことだな
0221デフォルトの名無しさん
NGNG但し、復元できません……ですか？
0222デフォルトの名無しさん
NGNG「あらゆるデータをまるで乱数のように復号しますので、
必要なデータを見つけるまで復号しつづけてください」
って感じだろ・・・
0223デフォルトの名無しさん
NGNGRangeEncoderってなんじゃらほい
0224デフォルトの名無しさん
NGNGマイクロ波で加熱する圧縮方法
0225デフォルトの名無しさん
NGNGなるほど、ＧＣＡってすごいですね。
だから糞重いのか
0226213 ◆2m/csy02kQ
NGNGむちゃくちゃ圧縮とかいう話ではありません。
むしろ圧縮率は極端にわるいです。
ただハフマンかブロックソーティングと組み合わせれば
使いものになるかもしれません。
私は科学畑の人間でないので
既出の概念かどうかをここで確認させてもらおうという話です。
0227デフォルトの名無しさん
NGNG圧縮の基礎だけでも勉強しておいた方が良い。
圧縮は、「圧縮 ＝ モデル化 ＋ 確率統計（確率推定） ＋ 符号化」で構成される。
算術符号やHuffman符号は、（それ単体が「圧縮」を構成するものだが）符号化。
モデルはn次マルコフ連鎖とか、実装で言えばPPMやMTF、ブロックソーティングも該当する。
確率推定はモデル化や符号化に統合されていることが多いが、
次に a の出る確率は 1/2 である、と計算すること。
>>226の何かを Ｘ としよう。>>226が考えているのは、
「Ｘ ＋ 符号化」あるいは「モデル化 ＋ Ｘ」となる。
上記の「圧縮」の概念図に照らし合わせると、Ｘは確率推定を含む部分に相当する、
と推測される。
・・・で、>>226のアイデアって何？
0228デフォルトの名無しさん
NGNGrangecoder は算術符号の一種で、
Jonesの考案した整数による算術符号を改善したものに相当する・・・のか？
参考にしたところ：
ttp://www.compressconsult.com/rangecoder/
ttp://www.tomozo.ne.jp/yamazaki/download/doc_basic_compression.htm#RangeCoder
ttp://www.isl.cs.gunma-u.ac.jp/~shingo/labo/algo.html
0229デフォルトの名無しさん
NGNG0230デフォルトの名無しさん
NGNG暗記しておくってのはダメですか？
0231デフォルトの名無しさん
NGNG意見、賛成、反対、ＡＡ、get、煽り、荒らし、長文、吉野家
くらいに圧縮できるな。
例：
1 名前：デフォルトの名無しさん 投稿日：01/01/01 01:01
意見
2 名前：デフォルトの名無しさん 投稿日：01/01/01 01:02
2get
3 名前：デフォルトの名無しさん 投稿日：01/01/01 01:03
>>1 反対
意見
4 名前：デフォルトの名無しさん 投稿日：01/01/01 01:04
>>3 荒らし
こんな感じじゃだめか？
0232デフォルトの名無しさん
NGNG0233デフォルトの名無しさん
NGNGまぁ、アフォを社会から隔離しておくにはちょうど良いシステムかもな。
おまいら、もっと学習しる！！データ圧縮に関してあまりにも無知すぎる。
まずは、ぐぐれ！
0234デフォルトの名無しさん
NGNG↓
使用頻度の高い単語を文字コードで使われていないコードに置換
※例. 逝って→0x7743(コードは適当)
↓
2chのスレを解析して作った頻度表を初期状態として
動的レンジコーダで圧縮。
↓
(゜Д゜)ｳｰ
0235デフォルトの名無しさん
NGNGそれはLZ77+78から派生するアルゴリズムとか、
7bit-ASCII(0-127)の単語を(128-255)に割り当てる手法などで、
すでに提案されている。
0236デフォルトの名無しさん
NGNG言葉遣いが滅茶苦茶なので、形態素解析が満足に出来ない罠。
「うつだしのう」ひとつとっても、変換がばらばらなので統計情報も偏らない・・・
0237デフォルトの名無しさん
NGNG＞まだ，勉強してないからあれだけど
＞「エントロピーとは、理論的に達成可能な圧縮限界のこと。」
＞なんていわれると激しく違和感を感じる．
なぜ？ まさかお前はエントロピー以上に圧縮できるとでも主張する気か？
0238デフォルトの名無しさん
NGNG言ってる理論を覆すのは無理と思われ。
0239デフォルトの名無しさん
NGNGエントロピーは無記憶情報源モデルとして求めた値なので
それ以外のモデルを使って圧縮すればエントロピー以上に圧縮できる。
0240しぃ豆 ◆hGFTP/i/.A
NGNGランレングスも効きそうな気がする。
0241デフォルトの名無しさん
NGNGお前もうちょっと勉強してから発言しろよな。
無記憶情報源以外のモデルを使ったら、そのモデルの上での
エントロピーがあるだろうが。
0242デフォルトの名無しさん
NGNGttp://isweb43.infoseek.co.jp/art/dempzone/up/2002101123025890.pdf
0243デフォルトの名無しさん
NGNG0244デフォルトの名無しさん
NGNGここでそのスレタイを聞くとは
0245デフォルトの名無しさん
NGNGうまく言えないんだが, 212 は例えば 205 の
>エントロピーを達成するような符号を
のような言葉の使い方に違和感を覚えてるんだと思う.
俺も知りたいんだけど, こういう言い方ってするんだっけ ?
0246デフォルトの名無しさん
NGNGするよ。
0247デフォルトの名無しさん
NGNG俺の周辺だけ？と思ったのでぐぐってみた。「エントロピー 達成する 符号」
あ、大丈夫そうだ。
誤り率とか、冗長度についても「〜を達成する符号」ということが確認できた。
0248デフォルトの名無しさん
NGNG究極のモデルを使えばどんなデータも0bitに圧縮できるな。
0249デフォルトの名無しさん
NGNGいうだけいって、何も説明できない
アホの大将
こいつ以上のアホは、そうは居ない
0250デフォルトの名無しさん
NGNGまぁ、アフォを社会から隔離しておくにはちょうど良いシステムかもなっ…！
おまいら、もっと…！もっと…！学習しる！！データ圧縮に関してあまりにも無知すぎるっ…！
まずは、ぐぐれ！
0251デフォルトの名無しさん
NGNGち ゃ ん と 元 に 戻 せ る か ど う か
だということに気づけ。そうすれば、元に戻せるためには
もともと持っていた情報量（エントロピー）より小さくできない
こともわかるだろ。
0252213 ◆2m/csy02kQ
NGNG手元のエンコーダー、デコーダーでデータの整合性がとれたので公開します。
わからないところがあれば説明します。
http://www61.tok2.com/home/jnc/
サンプルのjnc.plはまだ4Kバイトを越えたファイルを処理できません。
使い方は、
jnc.pl -e filename エンコード->*.jncファイル生成
jnc.pl -d *.jnc デコード ->D*ファイル生成
エラー吐きまくりますが処理に問題はないはずです。
0253213 ◆2m/csy02kQ
NGNG8バイト(64bit)のかたまりを、
65bit/59bit/52bit/45bit/38bit/31bit/24bit/17bit
にしてしまおう、ということです。
0254デフォルトの名無しさん
NGNGついでにこのスレを圧縮した場合の圧縮率を教えて please
0255デフォルトの名無しさん
NGNG8byte分取り出して、各bitの0/1が全8byteで一致した列を省く
というところまでは分かったが、その後が分からん
あああ今分かった。イメージ図と説明のところのデータって違うのか...
0256213 ◆2m/csy02kQ
NGNGそうです、説明のところは
#!/usr/b （64bit)をどのように59bitに圧縮してるかの説明です。
ちょっとＷＥＢぺージはいいかげんなのでそのうち書き直します。
0257デフォルトの名無しさん
NGNGASCII文字列かUTF16文字列かのっぺりとした画像ぐらいしか思いつかない
0258213 ◆2m/csy02kQ
NGNGただ８バイトのうち縦2列のビット[16bit]がそろえば圧縮はできるんですが。
圧縮できる８バイトブロックと、圧縮できない８バイトブロック
にバッファを分けて、それぞれにハフマンなりなんなりをかける、、、
とかまぁいろいろ考えているのですが。
0259デフォルトの名無しさん
NGNG＞これまでのバイト（単語）レベルでの圧縮と違いビットレベルでの圧縮
ほとんどの圧縮手法がバイト入力にしているのは、
別に手法としてバイト入力でなくちゃいかん、というわけではなく、
単にプログラム上の処理の面倒さや、動作速度の向上が理由といえる。
論理的な理由としては、アルファベット拡大を行うと最適になるからということもある。
事実、論文ではバイナリ入力で説明し、実装ではバイト入力というのが普通。
0260213 ◆2m/csy02kQ
NGNG1010Byteを越えたファイルでは処理が失敗します。
0261デフォルトの名無しさん
NGNG0262デフォルトの名無しさん
NGNG最初からうまくいくわけないYO!
みなさんがんば
0263デフォルトの名無しさん
NGNG1) 圧縮率が既存のものより格段に優れている 例）PPM
2) 理論的に面白い 例）CTW
3) 新しい概念に基づいている 例）ブロックソート法、文法による圧縮
のどれかが成立しないと、評価されないよ。
たとえば、○○法を改良して圧縮率を向上させました、というのは認められないことが多い。
これから圧縮を考える人は注意してね。
0264オレは天才だと分かりました
NGNG１バイトは、２５６通りのデータ表現が限度だから、
どっかに２５６通りのデータを記録しておけば、
１バイトの圧縮結果のデータサイズは、
２５６通りあるデータの、どれかを示すだけでよいから、
サイズは、1ビットから８ビットになる。
よって、
４Ｇバイトのデータを圧縮する場合は、
４Ｇバイトは、２の８×４Ｇ乗 通りのデータ表現が限度だから、
どっかに ２の８×４Ｇ乗 通りのデータを記録しておけば、
４Ｇバイトの圧縮結果のデータサイズは、
２の８×４Ｇ乗 通りあるデータの、どれかを示すだけでよいから、
サイズは、1ビットから ２の８×４Ｇ乗バイト になる。
0265デフォルトの名無しさん
NGNGで、4G+1バイトのデータはどうやって圧縮すんの？
0266オレは天才だと分かりました
NGNG圧縮結果は、1ビットになる可能性がある。
この素晴らしさは、たとえようがなく、
ＤＱＮには分かりようが無いのが残念だが、
我等が国王は、大いに喜び給うであろうことは、断言して誤りがないのである。
0267デフォルトの名無しさん
NGNG0268デフォルトの名無しさん
NGNGちょっと俺にはわからんが。
みなさんは圧縮するテストファイルってのは何つかってます？
圧縮してないファイルってBMPかWAVかTXTぐらいしか思い浮かびませんが。
0269デフォルトの名無しさん
NGNG0270デフォルトの名無しさん
NGNGどれぐらいになるんだ？
0272デフォルトの名無しさん
NGNG普通は Calgary とか Canterbury のコーパスを使う。
画像や音声の場合は、別のセットを使うこともある。
0273デフォルトの名無しさん
NGNG0274デフォルトの名無しさん
NGNGファイルの先頭に非圧縮であることを示すフラグ「0x00」を付加する圧縮？法。
もし完全復号可能であることを求めるなら、もう少し工夫が必要だが。
■ このスレッドは過去ログ倉庫に格納されています