トップページ⇒linux
986コメント307KB

mozc / Google 日本語入力 #1

■ このスレッドは過去ログ倉庫に格納されています
0001login:Penguin2010/05/13(木) 11:58:50ID:e7jJ/yN9
http://code.google.com/p/mozc/
ref.
http://sourceforge.jp/magazine/10/05/11/0335246
http://googlejapan.blogspot.com/2010/05/google_10.html
0237login:Penguin2010/06/01(火) 09:22:43ID:Khp/NcXq
某はてなのブログにコメントしてる人
ブロガーの義務でもなんでもないのに、UTSUMI氏の辞書入りPPAを紹介して、UTSUMIに迷惑かけなきゃいいけど。
0238login:Penguin2010/06/01(火) 09:24:13ID:Khp/NcXq
>>237
最後の敬称が抜けてた。
UTUMIに迷惑かけなきゃ→UTSUMI氏に迷惑かけなきゃ
0239login:Penguin2010/06/01(火) 12:43:06ID:4zExM02R
>>236
自分でビルドするから楽しいんだろうが。
自分でやれ。
0240login:Penguin2010/06/01(火) 12:53:30ID:XI8koRaq
>>237
そこまで書くなら url書けよ。
0241login:Penguin2010/06/01(火) 13:34:08ID:Khp/NcXq
>>239
だから自分でビルドしてると言ってるじゃん。
>>240
書こうと思ったけど、ブログ主に迷惑掛かると思ったからやめた。
そのくらいggrks
0242login:Penguin2010/06/01(火) 13:35:45ID:Khp/NcXq
ごめん。ID変わってた。
>>235もおれな。
0243login:Penguin2010/06/01(火) 13:41:31ID:XI8koRaq
>>241
だったら、ブログへの愚痴をここに書くなよ。
わけわからん。
0244login:Penguin2010/06/01(火) 13:55:12ID:Khp/NcXq
>>243
一般論として捉えればいいこと。
例えば、Sawa氏が、UTUMI氏の趣旨を理解して辞書を同梱したとして、ホームページにその旨を書いたとしても
それを紹介する第三者が、単にリンクとか手順だけ紹介したら意味はない。
これはたとえ話なので、はてなのブログの話はSawa氏のリポジトリのことではないが、趣旨はそういうこと。
0245login:Penguin2010/06/01(火) 14:42:35ID:XI8koRaq
>>244
? かなり自己中だとおもう。
0246login:Penguin2010/06/01(火) 16:16:29ID:0n41Qhbr
Googleの人自身が追加辞書に否定的だからなあ。

http://twitter.com/taku910/status/15075896507
通常どんなIMEでもデフォルト状態が一番性能が高いように設計されています。
はてな辞書などをデフォルトで有効にしていいものをしていないのは、
精度が下がるからです。
手元で実験していますが基本デフォルト状態が一番良くて
ユーザ辞書でもなんでも余計な物を突っ込むと精度が落ちます。
6:13 PM May 30th webから

ただ文章表現って多様だから、
とあるケースでの精度がいかに良くても、
ある人にとっては全体としてイマイチだったりすることもある。
「基本デフォルト状態が一番性能が高い」とはちょっと思い上がりかもなあ。
ちょっと前まで県名を変換できなかった完成度だし、
はてな辞書にしても、単純に全部足したら精度は落ちるけど、
選別したうえで必要なものを足せばそれなりに使える。
なによりGoogleの秘密版の辞書って余計なものの盛り合わせじゃね?

辞書は色々あっていいと思う。ハッカーにしてみればうぜーのかもしれないが。
ただ今はバグ出しとか必要なので、デフォルトで使ってみるのも大事。
ディストリ標準で非公式辞書を最初から埋め込むのはまだ早い。
メーリングリストで注意喚起したって見てるやつほとんどいねえしな。
アイコンがないのも現状の完成度を暗示してると思うので、
あえて足すことはない。

あ関係ないけどHideaki ABEさんmozc-configの開発お疲れ様でした。
公式版はQt依存めんどくせえのでちょろっと使わせていただくかもしれません。
ABEさん自身が使ってるのであればフリーズすることもないのでは。
それとGoogleのひとIssues報告放置しすぎ(出張中か?)
0247login:Penguin2010/06/01(火) 16:23:50ID:Khp/NcXq
>>245
は?なにが?
0248login:Penguin2010/06/01(火) 16:31:12ID:XI8koRaq
>>246
辞書の育成はセンスもあるからな。
作者が最適化している辞書だとしても
それより優れたものは現れるかもしれない。チューニングする人しだいだね。
ま、遺伝的アルゴリズムみたいなもんだからね。
良いセンスの人がチューニングした辞書がオープンソースとして公開されたら
たすかるからね。
0249login:Penguin2010/06/01(火) 16:34:29ID:Khp/NcXq
それはそれ
ID:XI8koRaqみたいなアホが知らずにgoogleとは違う辞書を使ってフィードバックするようなことがあれば、迷惑な話。
0250login:Penguin2010/06/01(火) 17:17:22ID:X3cZthyj
>>246
そもそもデフォルト状態って、大規模コーパス版のことだろ。
エンジンの設計が同じならIPADic使ってる時点で性能落ちてるんじゃないか?
そこから追加した微妙な部分が付属辞書にあってそれが肝だってことなら、
どういう方針で調整がなされたのか誰か差分取って調べてくれないかな?

ユーザー辞書は登録時に頻度情報が入れられないので変換精度が落ちるに決まってるじゃん
組み込み追加辞書の場合は頻度情報入ってるから全然違うと思うけど。
しかしその頻度情報の精度というのが母集団、つまりコーパスデータによるから
まんべんなく集めてるグーグルより桁が落ちるかもとか、統計学的にデータまぜるなきけん、
って話なだけでしょ。

結局、GPSのわざと下げられている精度をどうやって向上させるかみたいな話なんだから、
中の人なら否定するに決まってる。
0251login:Penguin2010/06/01(火) 17:19:24ID:+xUAPRzh
GPSの軍用コードはすべてにおいて民間用を超えるわけではないらしいけど
戦時に精度低下があれば補正値知ってると良いかもしれないけど
0252login:Penguin2010/06/01(火) 17:22:17ID:6lXEiumK
午後を入力するのに、「ご」と「ご」を区切るなよ
0253login:Penguin2010/06/01(火) 17:39:27ID:XI8koRaq
>>249
粘着お断りです。ごめんね。
0254login:Penguin2010/06/01(火) 18:15:44ID:Khp/NcXq
ID:XI8koRaq
0255login:Penguin2010/06/01(火) 18:28:50ID:0n41Qhbr
>>246
> そもそもデフォルト状態って、大規模コーパス版のことだろ。

そうなのかな?
Google辞書だったら開発者が意図しようがしまいが、
「はてな辞書」の語彙は収集されて有効になってると思う。
まあ直接聞かないと分からんが
0256login:Penguin2010/06/01(火) 18:29:31ID:0n41Qhbr
あ >>250 だった
0257login:Penguin2010/06/01(火) 18:55:15ID:X3cZthyj
>>255
追加単語そのものより、漏れが出る事が問題な気がする。
>>252とかもそうでしょ。
0258login:Penguin2010/06/01(火) 19:24:49ID:XI8koRaq
ごご か。 変換してないな。
英英辞典とか そのへんの言葉が漏れてたりもするし、
いまはこまめに辞書を育てるしかないなぁ。とはおもってるよ。
それでもanthyよりは使い易いけど、
0259login:Penguin2010/06/01(火) 19:40:59ID:iRw/MYCq
辞書の問題っていちいちバグトラッカーにあげることになんの?
いちいちめんどくさいよね。

「はりつけて」で「貼り付けて」がでない。
0260login:Penguin2010/06/01(火) 19:47:12ID:biQ6ox7/
そういうのは鍛えりゃいいだけだよな
0261login:Penguin2010/06/01(火) 19:53:01ID:iRw/MYCq
>>260
そんなこと言い出したら何でもそうじゃん。

UTSUMIさんの名詞辞書をもってしても「ポルチオ」がないのはしょうがないかなとは思うが。
0262login:Penguin2010/06/01(火) 20:01:56ID:biQ6ox7/
Anthyのデフォルト状態とかひどいもんだからな
0263login:Penguin2010/06/01(火) 20:26:01ID:2EYeyyHj
ライフサイエンス辞書が登録できるようにしてくれ
あれがないと話にならん
0264login:Penguin2010/06/02(水) 00:05:59ID:qoQj5wV4
誰かフォークするものはおらんのか!
誰か!
0265login:Penguin2010/06/02(水) 01:29:17ID:HiSOFHLt
>>244
そういう話を当のブログにコメントで書いてあげたら?
URL 書けないならそれができるのは君しかいないんだから。
0266login:Penguin2010/06/02(水) 01:40:28ID:408ZUOE4
とりあえずSKKのスモール辞書辺りの単語は網羅されているのか比較してみた人居る?
っていうか>>200のツール教えて欲しいな。
02672002010/06/02(水) 02:05:04ID:w3pItDF+
>>266
辞書ファイルの読みと漢字だけを sed で抽出して sort -u したものを、
sort -m して uniq -d して wc -l しただけ。だったはず。
ていうか、細かいこともうすっかり忘れてて愕然としている俺がいる。
0268login:Penguin2010/06/02(水) 02:33:17ID:nCOjwefR
>>263
Google日本語入力、ATOKやことえり辞書のインポートに対応
http://internet.watch.impress.co.jp/docs/news/20100319_355796.html
Google IME/Mozcのユーザ辞書は同じ形式のはずだから、
Windowsで何とかインポートしてLinuxに持っていけば使えるはず。
LSD(なんつう名前だ)はMS-IMEシステム辞書形式だから、
バイナリエディタでいじらないとインポートできないかもな。

>>266
meisiは0601では重複ないはず。
jinmeiは重複チェックしてないはず。
同じのをModified Anthyでも使ってるから。
の割には重複少ないな。
まあ収録数多いから比率的に小さくなるか。

> SKKのスモール辞書辺りの単語は網羅されているのか比較
くだらねー。
それに単に網羅したって意味ないよ。
要らない単語削って頻度指定して…とやらないとな。
ためしにユーザ辞書として一律にインポートしてみれば。

しかしこんな「要望」によく応えたもんだよ。「当然のこと」とか「絶対対応するべき!」とか。
日本のLinuxユーザのレベルを示したスレ↓。
> Linuxユーザーにこそ必要なものです。
http://www.google.com/support/forum/p/ime/thread?tid=4d9cb7b1ce293ed1&hl=ja

> Linuxユーザは共同でプロジェクトをより良いモノに完成させたい意識は
> マックやWindowsのユーザよりも高く、
経験的にはWindowsユーザのほうが人数多いぶん反響あるし、
より良くしたいという人も多いんじゃねえかなー
0269login:Penguin2010/06/02(水) 03:07:20ID:HDGBUJC9
>>268
そりゃ単純に母数が大きいだけじゃないか?
Linuxは開発コミュニティへの貢献意識が強いユーザが多いというより
そういう人間しかLinuxを使ってないという側面がある
0270login:Penguin2010/06/02(水) 03:26:40ID:fMpvOFIK
>>269
> そういう人間しかLinuxを使ってないという側面がある
それはないわ
0271login:Penguin2010/06/02(水) 03:32:32ID:7kI2YFS9
>>268
LSDは確かことえり形式の辞書がダウンロードできたはず。
ちなみに名前はあえてそういうのを狙ったんだとさ。
0272login:Penguin2010/06/02(水) 06:43:02ID:02i5Uj0J
>>265
コメントしましたがなにか?
きみに言われる筋合いはない。
0273login:Penguin2010/06/02(水) 06:46:10ID:02i5Uj0J
>>268
で、Google側は辞書の提供はなく、ユーザ側は辞書よこせだったわけだw
もうアホかと。
0274login:Penguin2010/06/02(水) 07:10:05ID:5crcoY3W
>>268
> しかしこんな「要望」によく応えたもんだよ。…

そりゃ 戦略上のことをいうとgoogleって自社osつくるんだし
日本での普及を考えたらimeは無視できないのは当然かと。
web tvがどんなことになるのかわからないけど、こっちでも
重要な役割でしょうしね。
また、脱msのものを普及させようと思ったらこの辺の周辺のことって
無視できないからね。
だから、答えたとしても利益があるんだろうね。

まるでウインドウズユーザーのような連中の声って、その辺を
機敏に感じるにはよいのかもね。

ないものは作れという思想のもとでlinuxを利用しているものから見れば
苦笑いの連中だけど、それだけ昔よりは普及してきているという証でも
あるんだろうね。彼らを蔑んでみるのはわからんでもないけどね。
0275login:Penguin2010/06/02(水) 10:03:44ID:HiSOFHLt
>>272
ならいいけど。
「なにか」とか言われても URL わからないから
コメントしたかどうかおれにはわからなかったよ。
0276login:Penguin2010/06/02(水) 14:43:48ID:SuZRONSu
何の話をしてるかわからなかったが
http://linux.ikoinoba.net/index.php?UID=1275323887
のことを言っているのか
ここの「またまた帰ってきた某所の匿名」と「ID:Khp/NcXq」は同一人物だろう
「某はてなのブログ」がどこかはわからなかった
0277login:Penguin2010/06/02(水) 15:02:37ID:02i5Uj0J
>>276
某はてなはそこではない。
0278login:Penguin2010/06/02(水) 15:40:49ID:SVlKWBuX
Linux界隈でバイナリ配布禁止をはじめて見た
0279login:Penguin2010/06/02(水) 15:44:09ID:HiSOFHLt
>>278
禁止はしてないでしょ。
0280login:Penguin2010/06/02(水) 16:32:49ID:SVlKWBuX
禁止と言っているようなものだろ
これで配布したら

作者の気持ちを考えないなんてサイテー

と喚く馬鹿が大量発生する
0281login:Penguin2010/06/02(水) 16:51:06ID:KEng9W8y
ていうかnon-freeぐらい珍しくもないだろ
0282login:Penguin2010/06/02(水) 16:57:43ID:5crcoY3W
ライセンスを発行した上でライセンス以外のお願いをするというのは
あまり褒められたものではないとは思うよ。

ありとかなしじゃなくて記述しているかしてないかだけが意味するのにね。
ライセンスってそうゆうもんだって理解してたんだが。

鬼車のrubyマージ騒動みたいになっちゃうよ。
0283login:Penguin2010/06/02(水) 17:00:56ID:1sMEC1wh
他人のライセンスを制約するならともかく
自身の著作物にコメントするのは何も問題ない
0284login:Penguin2010/06/02(水) 17:04:19ID:5crcoY3W
>>283
うん。そこをトラブルしないために、自分の著作物に新たなライセンスを加えて
しまえばいいというのは当然だとおもうよ。加えないのに別のお願いをする場合
そのライセンスと矛盾するならば当然作者に問題があるし、矛盾しないならば
なんのトラブルもならないだろう。
0285login:Penguin2010/06/02(水) 17:19:02ID:QoktT3oR
まあ、よくないわな。しこりが残る

Google曰く「Mozcのバイナリ配布は避けてください」
0286login:Penguin2010/06/02(水) 17:22:49ID:02i5Uj0J
バイナリをわければ済む話。
0287login:Penguin2010/06/02(水) 17:40:27ID:nCOjwefR
>>280
ソースパッケージに突っ込むのは勝手だけど、
有効にするのは各自でビルドオプション付けてねってことでしょ。
「意識的に」各自でやってもらわないと、
Googleにワケの分からないことを報告するバカが大量発生するから。
何よりも今は開発初期段階だから、デフォルト状態での報告が欲しい。

Googleにしてみればこう。
ユーザ「Mozc最高だぜ」
Google「(うんうん)」
ユーザ「人名xxxxもアレな名詞xxxxも出てくるぜ」
Google「(ん???)」
Google発表「基本的にはデフォルトで使うのが一番精度が高いのであります」

それに非公式辞書追加を知らずして
「Googleさん辞書追加ありがとー!!」とか言われても、
Googleも辞書作者も甲斐がないだろ?

>>278
debianだと2ch辞書を選択制にしたりとか、
gentooだとmplayerとか?のビルドオプション選ばせたりとか。
「各自で意識的に選んでね」というのはよくある方式よ。
文句あるなら選択ダイアログ出せばいいじゃん。
辞書がアドオン形式ならパッケージ名で明確に分割できるけど、
Mozcは全部一体だからしょうがない。

バイナリ禁止自体は昔LAMEで見たような気がする
0288login:Penguin2010/06/02(水) 17:51:17ID:02i5Uj0J
>>287
Anthyよりmozcの方が変換精度が高いとか言ってるやつらはみんなそれだよな。
同じ辞書を追加した状態でのAnthyとmozcは大差ないだろ。
0289login:Penguin2010/06/02(水) 18:01:18ID:grruSKdq
LAMEのバイナリ配布は特許にひっかかる恐れがあるからではなかったかと。
今回の問題とは若干違うような。

>「意識的に」各自でやってもらわないと、
>Googleにワケの分からないことを報告するバカが大量発生するから。
>何よりも今は開発初期段階だから、デフォルト状態での報告が欲しい。

これはほぼ同意。
0290login:Penguin2010/06/02(水) 18:02:11ID:nCOjwefR
まあどうしてもバイナリ配布したくて(各自でビルドすりゃいいことだと思うけど)、
非公式版であることをハッキリさせたいのであれば、
デフォルトのバイナリパッケージ+差分パッチぐらいか?
パッチで非公式バイナリを意識的に「再現」させるという形。

しかし自分好みにしたいんだったら自分でビルドくらいは当たり前じゃねえの?
それに辞書作者の意向つうかMozcプロジェクトの現状レベル考えたら、
今はデフォルト状態でテストしたほうがいい。
原作者が「余計な辞書入れたら精度下がる」つってんだしさ
0291login:Penguin2010/06/02(水) 18:50:57ID:9TUUxqr0
バイナリ配布が基本的に禁止というと思い出すのがかつてのqmail。
0292login:Penguin2010/06/02(水) 19:06:18ID:/GEmtGf2
>>289-290
辞書作者もそう思ってるだろうが、
それならなんでバイナリ配布OKのライセンスで配布するのか分からない
0293login:Penguin2010/06/02(水) 19:26:14ID:O5aiTgdT
ぶっちゃけリポジトリを公開したら、webの注意書きなんて読むような
聞き分けのいい人じゃなくてタコ以外使うわけないだろ。
特にubuntuなんでデフォルトで対応しているのに、作っておきながら
組み込んでますなんて意味不明だ。
しかも、バグ報告は送るなといってるけど、じゃあ誰に送るんだ?
お前が引き受けろよ、そうでなければ公開すべきじゃない。
0294login:Penguin2010/06/02(水) 19:29:49ID:1sMEC1wh
>>292
もとはModifiedAnthy向けに公開されていた辞書だから
Mozc用に改めてライセンスをいじっても仕方ない
0295login:Penguin2010/06/02(水) 19:37:51ID:CGmWTyeQ
>>293
誰に言っているのか知らないが、俺のubuntuで
apt-get install ibus-mozc
とやってもインストールできない。本当にデフォルトで対応してるの?
0296login:Penguin2010/06/02(水) 19:44:23ID:x5YErinu
>>293
日本語が不自由な人のような
0297login:Penguin2010/06/02(水) 20:00:24ID:OEd5PW/N
>>293
すまん、意味不明すぎて何をいってるのかさっぱりわからん。
0298login:Penguin2010/06/02(水) 20:00:48ID:9DErp56Y
>>295
Currently, we only support Ubuntu 9.10 and 10.04 for building Mozc.
http://code.google.com/p/mozc/wiki/LinuxBuildInstructions
0299login:Penguin2010/06/02(水) 20:02:49ID:t70gHhyq
>>295
リポジトリは加えなくてはダメ
加えても性能のいいModifiedAnthyは使うなといわれた
初心者にはibus-mozicの魅力が薄れた

いまここ
0300login:Penguin2010/06/02(水) 20:04:18ID:L1cbISCc
anthyがいいとか言ってる池沼レベルの人間がまだいるんだな
0301login:Penguin2010/06/02(水) 20:07:31ID:w3pItDF+
>>288 とかもね。
0302login:Penguin2010/06/02(水) 20:08:54ID:fe2DcE2M
人それぞれさ、お気に入りのを使えば良いだけ
0303login:Penguin2010/06/02(水) 20:17:47ID:RpWCZxYd
Google -IMEって変換エンジンはVJEの流用だったっけ?
0304login:Penguin2010/06/02(水) 20:41:06ID:HiSOFHLt
>>303
そんな話どこで読んだの?
0305login:Penguin2010/06/02(水) 20:48:51ID:408ZUOE4
>>267
ども、UNIX的手法だったんですね。全然身についてないなあこういう即席データ処理。

>>268
>> SKKのスモール辞書辺りの単語は網羅されているのか比較
>くだらねー。
>それに単に網羅したって意味ないよ。
>要らない単語削って頻度指定して…とやらないとな。
>ためしにユーザ辞書として一律にインポートしてみれば。

なにが言いたいのかさっぱりです。
デフォルト辞書で網羅してたら辞書インポートする必要無いのでは?
その場合の追加辞書という意味では、まあ確かに意味が無いですが、
判断の為の辞書内容の分析が下らないというのは意味不明です。

抜けている単語を抽出して、それが本当に変換出来ないのか確認してみるのは、
やみくもに探したり、ひたすらバグ報告を待つより早いのでは?
0306login:Penguin2010/06/02(水) 21:22:35ID:408ZUOE4
>>287
そもそも、純正版と改造版を共存できるようにしたほうがわかり易いんじゃないですかね?
ビルドしない人にとっては意識できないままで、単純に退化したとしか思わないでしょうし。
0307login:Penguin2010/06/02(水) 21:31:19ID:RpWCZxYd
>>304
あー、ごめん、VJE使ってるのはYahoo!の方だったわ。
0308login:Penguin2010/06/02(水) 21:35:29ID:408ZUOE4
Google SONY連合ということで、mozcにsj3を合体させたらなにができるんだろうか?
0309login:Penguin2010/06/02(水) 21:58:00ID:nCOjwefR
>>305
だからさ、やってみりゃいいじゃん。
S辞書とMozcデフォルト辞書の差分だろ?

SKK辞書は動詞の形式が特殊だから、
単純に比較できるのは名詞系だけかもな。

> デフォルト辞書で網羅してたら辞書インポートする必要無いのでは?
網羅してるかどうか分からんのでしょ?
試しにやってみて動作を確認すればと言ったわけよ。
Mozcのユーザ辞書のシステム辞書に対する優先度は知らないんだけど、
「漏れてる」と判断された短い単語がたくさんあれば、
おかしな変換結果が大量に発生して、
単純差分じゃ意味がないことがすぐに分かると思ったから。
実際どうなるかは俺も知らん。

Mozcのデフォルト辞書は長年編集されてきて収録数も膨大なIPAdicでしょ?
> SKKのスモール辞書辺りの単語は網羅されているのか比較
こんな発想おれにはないよ。「スモール」辞書と比較?
バカだなあ、と思いつつも、
>>305が意外な発見をして本家に有益な貢献をするのかもなあ
0310login:Penguin2010/06/02(水) 22:35:24ID:nCOjwefR
>>305
とりあえずやってみた。
雑にやったものだからソースとかは出さねえよ。
確認したのは「存在しない表記」だけな。読みは無視。

SKK-Sには重複除いて4581の表記がある。
このうち単漢字・アルファベット・記号以外で
Mozcデフォルト辞書に入っていないのは次の通り。

仮名漢字変換
全角仮名
半角仮名
半角片仮名
日帰
最寄
相変
見掛
見落
記事選択

以上。
単漢字は自分で探してくれ。
記事選択とかは分けて変換できると思うので、
全部網羅されてると言っていい。

じゃあな
0311login:Penguin2010/06/02(水) 22:41:13ID:408ZUOE4
>>309
詳しいやり方がわかりませんので、簡単にできるなら是非どうぞ。

とりあえず茶筅やメカブの辞書をgrepして眺めているだけですが、
IPAdicはあくまで形態素のコーパスで、熟語は音声処理用かなんかの逆変換で使いにくい
短い単語とかは結構足りないんじゃないかって気がします。
例えば宮城県で探しても大学の名前しかでてこなくて県名単体すら入ってない。
Mozcの辞書も傾向は似ていますが、unicodeな単語とかも入ってて
多少改善してる感じは気のせいでしょうか?
0312login:Penguin2010/06/02(水) 23:00:23ID:408ZUOE4
っと入れ違いでした
>>310
どうもです。とりあえず予想通りって事ですよね。
単漢字の漏れというのはどうなんですかね?
まあ扱いは難しそうですが。
0313login:Penguin2010/06/03(木) 00:50:31ID:0C19uf7w
>>311
なにがしたいのか意味が分からないのだけど
「宮城」「県」が入っていれば
「宮城県」は変換できる。
というか、個々のパーツで変換できるならそれを辞書に登録しておく意味はない。
ディスクの無駄だし。
短い単位で解析できるように、というのが UniDic。
自分でクロールしてきたデータに UniDic の MeCab をかけてコーパス作ればいいんじゃないかな
0314login:Penguin2010/06/03(木) 00:59:29ID:wmng9tJY
>というか、個々のパーツで変換できるならそれを辞書に登録しておく意味はない。
そもそも大規模コーパスというのはそういう方針とは思えませんが?

パーツの頻度を掛け算した予測頻度を実際の頻度が上回るのであれば登録するべきでしょう。
0315login:Penguin2010/06/03(木) 09:15:19ID:1uwN98gG
>>300-301
私家版辞書追加して、さすがGoogleって言ってる馬鹿約2名発見しますた。
0316login:Penguin2010/06/03(木) 09:29:34ID:1uwN98gG
確かに午後と打ちたければ、午と打って後と打てばいいよなwww
それとも午後の紅茶と打って、の紅茶を削るか?w
もうアホかと。
0317login:Penguin2010/06/03(木) 10:29:33ID:cLHYQIlM
>>42
つきはWakame(ワカメ)だな
0318login:Penguin2010/06/03(木) 11:03:56ID:yHIg/azl
いやcombだろ
0319login:Penguin2010/06/03(木) 11:43:56ID:8rrDcIso
libiconvェ…
0320login:Penguin2010/06/03(木) 12:20:21ID:r9B8lAgG
uim-mozcのビルド方法おしえてくだい
0321login:Penguin2010/06/03(木) 12:38:19ID:dyOLzhIN
# make; make; make clean
0322login:Penguin2010/06/03(木) 13:37:11ID:u1itOj+L
>>320
http://code.google.com/p/macuim/source/browse/trunk/Mozc/build
0323login:Penguin2010/06/03(木) 14:11:44ID:zicLG5/c
mozcは低能糞ソフトでまともに使えないから、中の辞書だけが欲しいんだよね。

mozcの辞書はどこに置いてあって
どうやってplaintextに変換できるわけ?
0324login:Penguin2010/06/03(木) 15:01:06ID:bG0s/qhN
糞で低能な奴に「低能糞ソフト」呼ばわりされるmozcとその開発陣は不憫だな。
0325login:Penguin2010/06/03(木) 15:07:37ID:0C19uf7w
>>314
そうか? 「宮城県」は「宮城」と「県」であって、
「宮城(固有名詞)」の左に来る品詞と「県(接尾辞)」の右に来る品詞は違うのに、
登録してしまうと区別できなくなってしまう。
連接コストまで考えると単語の頻度だけで簡単に決まるものではないので、
なんでもかんでも登録するとむしろ精度悪化することもあるんじゃないかなあ。
(くっつけても品詞が変わらないものはくっつけたものを登録してもいいと思うが)
0326login:Penguin2010/06/03(木) 16:11:34ID:uFbeO/du
結局、AnthyとMozcってどこが違うの?
Ubuntuで使ってるけど、はじめからあるAnthyよりはMozcの方がよさげだけど
0327login:Penguin2010/06/03(木) 16:30:35ID:AE+ltDI6
>>326
anthyは開発停止してたんじゃなかったっけ?
mozcは開発公開が始まったばかり。

かなり初期の段階だから、開発協力者だけにしたい状態じゃないかな。
だから、辞書のバイナリうんぬんの話もでる。
stableちかくまで普通は待ったほうがいいだろうね。それでもanthyよりmozcの
ほうがいいように思う。
0328login:Penguin2010/06/03(木) 16:50:09ID:8XZFMkrD
>>327
> anthyは開発停止してたんじゃなかったっけ?
再開したよ。
http://sourceforge.jp/projects/anthy/lists/archive/dev/2010-May/003705.html
0329login:Penguin2010/06/03(木) 17:30:21ID:xiIjB+In
>>326
anthyは親指シフトに対応している
0330login:Penguin2010/06/03(木) 18:24:16ID:u1itOj+L
辞書が同じなら云々言ってる人たちは文節ごとに変換してる人たちでしょ。
文章で変換すれば違いは一目瞭然。
0331login:Penguin2010/06/03(木) 18:26:44ID:wmng9tJY
>>355
県の後ろにつながるの品詞と、宮城県の後ろにつながる品詞は大差ない。
つまり語頭と語尾の文脈IDを継承すれば済む話。
0332login:Penguin2010/06/03(木) 18:28:03ID:wmng9tJY
>>325 失礼
0333login:Penguin2010/06/03(木) 19:31:44ID:HrnMknGo
>>330
筋がいいのはMozcだけど、
IPAdicのせいか文章を細かく区切りすぎるような感じはしてる。
「ご|ご」とか「する|シ」みたいな感じで。
ある程度の長さを入力すれば改善するけど、
やっぱりちょっと細かい感じはするな。
語尾とか複合語の切り方がおかしくなるときがある。

Anthyだとdepgraphだったか語のつながりをある程度まとめてくれるので、
「細かい」って感じはしない。
複合語もcompound.tか何かに大量登録されてるしな。

IPAdicは文章を単語に分割するツールでも使われてるんだっけ。
短い単語に比重がかかりすぎな感じがちょっとする。
複合語を大量追加+短い単語の優先度をちょっと下げる、
くらいの調整はいるかもね。

ちょっと使った感想なんで勘違いかもしれん
0334login:Penguin2010/06/03(木) 19:59:43ID:AE+ltDI6
>>333

そうだなぁ。検索するときには文章をキーワードにすることはないから、
検索屋さんが作ってるだけに、切り替えみたいなのは欲しいかも。
ibusのプラグインでSKK一発切り替えがあればなぁ。と変態的に思ってる。

mozcの一番良い使い方はおおよそ感じ取れるようになったけど、
やっぱり文節ごとに変換させるのはあまり良くなさそうだな。
0335login:Penguin2010/06/03(木) 20:00:21ID:eXkP2joF
anthyを頻りに擁護するバカがいついてる模様
0336login:Penguin2010/06/03(木) 20:56:17ID:0C19uf7w
>>331
あなた中国出身? (煽りじゃなくてね)
後ろにつながる品詞は同じだが、
県の前に接続する品詞と、宮城の前に接続する品詞が違うという話。
「宮城県に出張に行った」は言うけど「県に出張に行った」は言わないでしょ?
あと、確かに左文脈と右文脈は別々に定義できるようになっているけど、
実際の辞書は左文脈ID=右文脈IDなので、やっぱり区別できないと思うよ。
■ このスレッドは過去ログ倉庫に格納されています