トップページ⇒tech
47コメント11KB

文字化け辞典作成委員

■ このスレッドは過去ログ倉庫に格納されています
0001　NGNG
文字化けを和訳できるようなソフトを作ろう！
ちなみに文字化けは
半角カタカナ、濁点、半濁点､｡記号の･:｣;@｢などなどが
２つ重なると漢字に化けます。
有能なプログラマー募集！！
0002デフォルトの名無しさんNGNG
＠＠
0003デフォルトの名無しさんNGNG
･。、･、。「」＠＠＠＠＠・・・・＠￥：￥・」。、、。、
0004デフォルトの名無しさんNGNG
ここは化けないね。
0005デフォルトの名無しさんNGNG
>>4
EUCで入力すれば化けるよ。
0006デフォルトの名無しさんNGNG
手当たり次第に文字のエンコードをかえる。
0007　NGNG
てかつくってくれーや
0008デフォルトの名無しさんNGNG
①②③
0009デフォルトの名無しさんNGNG
>>1
普通の掲示板は文字コードを判定して自分のページと同じコードに
変換してるから、そういう半角かなを入力すると判定を失敗して
文字化けになるんだけど、2chは判定なしで文字コードをシフトJISとして
扱うから、半角かなを入力しても化けないんだよ。
0010デフォルトの名無しさんNGNG
　　　　/＼＿＿_／ヽ　 　ヽ
　　 ／　　　　::::::::::::::::＼　つ
　 . | 　,,-‐‐　 　‐‐-､ .:::|　わ
　　|　 ､_(o)_,:　 _(o)_,　:::|ぁぁ
. 　 |　　　　::<　　　 　 .::|あぁ
　　 ＼　 /( [三] )ヽ ::／ああ
　　　／｀ー‐--‐‐―´＼ぁあ
0011デフォルトの名無しさんNGNG
>>9
JISにもEUCにもSJISにも、半角カタカナは存在しますが...？
0012デフォルトの名無しさんNGNG
>>11
存在するかどうか自体は関係なかったりする。
変換の時が問題。
sjisは１バイトで表すのに対し、
eucは２バイトだからとか、そんな感じの問題。
00131NGNG
うぅむ。
0014デフォルトの名無しさんNGNG
>>11
半角カナを入力すると判定に失敗するって言ってるのと、それがなんか関係があるの?
0015デフォルトの名無しさんNGNG
うにこーど
君にあげよう
0016デフォルトの名無しさんNGNG
文字コード判定+変換ぐらい自力で書いてみようと思ったけど
SJISとEUCの判定って面倒。

0xA1-0xDFとかが続いてたらどのあたりで見切りつけるわけ？

あとさ、判定ルーチンって、何バイトずつチェックするの？
もし3バイトずつにして「0xA1」「0xE0」「0xA1」とかってあったら
「SJIS半角+SJIS全角」もしくは「EUC全角+EUC全角1バイト目」なわけでしょ。
次のチェック時には1バイトずれちゃわない？
0017デフォルトの名無しさんNGNG
「正しく表示されましたか？（Y/N）」をコードを適当にかえながら延々と
0018デフォルトの名無しさんNGNG
>>16
文字コード変換ツールの ack のソースプログラムを見るといいよ。
0019デフォルトの名無しさんNGNG
っていうか、jcode.pl 使えば一瞬で作れる。 (作った)
0020デフォルトの名無しさんNGNG
>>19
それ、おまいが作ったのと違うだろ、と言いたい所だが合格。
スデに出来てる外部処理を使うのが最適。
と言うより自分で作るのがアホ。
0021デフォルトの名無しさんNGNG
つーかどこが辞典なんだよ
00221NGNG
よくわからんわけですが。
頼みますよ。
0023デフォルトの名無しさんNGNG
Ruby 使え。
0024デフォルトの名無しさんNGNG
下記リンクの下のほうの
「コード自動認識」ってところよんでみ。
http://www.mars.dti.ne.jp/~torao/program/appendix/japanese.html

EUCとSJIS両方にとれる文字列ばかりが続いていれば
どうやったって判別は無理。

日本語の文法に照らし合わせたりするまでやるなら別だが。

あとSJISの半角カナはEUCコードで使用される領域にすっぽり収まってる
カナだけでｷﾀ--とかｵﾏｴﾓﾅ-とかだけ書かれるとEUCとまったく区別がつかない。
0025山崎渉NGNG
　　　 　∧＿∧
ﾋﾟｭ.ｰ　(　　＾＾ ） ＜これからも僕を応援して下さいね（＾＾）。
　　＝〔~∪￣￣〕
　　＝ ◎――◎ 　　　　　　　　　　　　　　　　　　　　　山崎渉
0026デフォルトの名無しさんNGNG
名スレの予感
0027 ◆manko/yek. NGNG
ｪﾐｪｱｪｿ?
0028 ◆manko/yek. NGNG
ばけた?

と入れた。
韓国語ではそう読むのだな。
0029これマジ！？NGNG
是非２ちゃんで使ってくれーい！！
矯臆（カコイイ)虐灼（オヤジ)獣扱(ステーキ）灼⑯灼⑯（ジュージュー）
笠Ф（ヴァカ）怖抑ｴ(ノンベエ）害酬（ウイスキー）
課整発ﾄ(インターネット）顕殉（クイズ）銭･(チャット）丑餅朧折ｰ(アップローダー）
少現（セックス)朗蹟（マッタリ）掬動（オナニー）論椅（マターリ）払払（ハァハァ）
衿下㌢（ガイシュツ）杵貫徹（オマエモナー）！！
0030山崎 渉NGNG

　__∧＿∧_
　|（　　＾＾ ）|　＜寝るぽ（＾＾）
　|＼⌒⌒⌒＼
　＼ |⌒⌒⌒~|　　　　　　　　　山崎渉
　　 ~￣￣￣￣
0031山崎 渉NGNG
（＾＾）
0032ハッカ飴NGNG
暗号解読と一緒だろ
0033ハッカ飴NGNG
>>9
もう1つ、ブラウザが適切な文字コード系で送信してくれるというものあるよ。
2chはシフトJISを使っているから、それにあわせて送ってくれているんだ。

つまり、この板は文字コード関連の面倒ごとをブラウザに任せているというわけで、
ブラウザが間違えば書き込みも化ける。
0034デフォルトの名無しさんNGNG
>>32 全然違うと思うが。
0035ハッカ飴NGNG
>>24
シフトJISの半角カナとEUCの漢字とは見分けがつかないけど、方法はある。
考えられる文字コードはせいぜい3つ、というかそれ以上は対応しなくても良いだろうから、3通りに変換してみるんだ。
そのうち「ﾓﾅｰ」とか「山崎渉」とかがあるのが正しい変換結果。
好きなトリップを探すプログラムがあるけど、あんな感じ。

用語を集めるのが面倒なら、行末が「。」になっていたり、「です」「だな」になっているのを探すだけでもいい。
これでも実用的なプログラムが作れるよ。
0036ハッカ飴NGNG
>>34
同じだって。35に書いておいた。
0037デフォルトの名無しさんNGNG
面倒くさいからUnicodeで統一しようぜ

Unicode以外の古いコード使ったソフト作る奴は
時代遅れということで。
0038デフォルトの名無しさんNGNG
うにこーどといっても、さらに派生しそうだな
0039UnicodeはMulticodeですNGNG
Unicodeは、文字集合がバージョンごとに違いますが…
ところがBOFにはversionが埋め込まれてない…

「電」へのmappingが間違ってたので、policy曲げてmapping入れ替えてますが…
http://www.unicode.org/versions/corrigendum3.html
http://www.unicode.org/unicode/standard/policies.html
0040ハッカ飴NGNG
>>37
2ch?
0041デフォルトの名無しさんNGNG
まぁCGIのフォーム周りでは俺は固定文字列を隠しフォームで投げてこさせて
判定してるけど…
スレ違いかね。
スレ違いついでにJISで投げてくる（もちURIエスケープして）ブラウザってある？
0042デフォルトの名無しさんNGNG
Unicodeは2.0と3.0で、φの2とおりの字体のコードポイントを入れ替えて
います。U+03C6とU+03D5。
両方の規格書を持っている人は、2.0のp.7-44と3.0のp.372を見て笑いましょう。
0043デフォルトの名無しさんNGNG
8 ビット目を落とした場合の文字がどうなるってリスト無いよね。
自分で作るかぁ。
0044ハッカ飴NGNG
>>41
JISで書いたページからなら、JISで送るはず。
0045山崎 渉NGNG
　　　 (⌒V⌒)
　　　│ ＾ ＾ │＜これからも僕を応援して下さいね（＾＾）。
　　⊂|　　　　|つ
　　　（＿）（＿）　　　　　　　　　　　　　　　　　　　　　　山崎パン
0046デフォルトの名無しさんNGNG
shift jis で 2 byte 目が A0 だと文字化けする・・・。
0047デフォルトの名無しさんNGNG
hoge
■ このスレッドは過去ログ倉庫に格納されています