形態素解析と日本語処理
■ このスレッドは過去ログ倉庫に格納されています
0001デフォルトの名無しさん
05/01/25 07:38:01そこで検索のインデックスを作る際には、まず単語や品詞に分ける必要があります。
これを形態素解析といいます。
このスレでは、その形態素解析について語っていきましょう。
0002デフォルトの名無しさん
05/01/25 07:58:59勉強させてください。
0003デフォルトの名無しさん
05/01/25 08:01:53http://pc5.2ch.net/test/read.cgi/tech/1011988273/
0004デフォルトの名無しさん
05/01/25 08:13:520005デフォルトの名無しさん
05/01/25 08:38:39それから?
0006デフォルトの名無しさん
05/01/25 08:52:32試してみますかね。
0007デフォルトの名無しさん
05/01/25 10:35:400008デフォルトの名無しさん
05/01/25 11:16:33今日は良い天気ですね。
↓
今日|は|良い|天気|です|ね|。
(は(今日((天気 (良い ) です)ね)))
「今日は」は２通りの解釈がある。
こんにち|は|良い|天気|です|ね|。
きょう|は|良い|天気|です|ね|。
0009デフォルトの名無しさん
05/01/25 11:29:05こんにちは|良い|天気|です|ね|。
0010デフォルトの名無しさん
05/01/25 11:29:45人はどのように判断しているんでしょうかね？
0011デフォルトの名無しさん
05/01/25 11:30:540012デフォルトの名無しさん
05/01/25 11:45:230013デフォルトの名無しさん
05/01/25 13:04:03あれもしかしてあしがらだったか
0014大原ゆき
05/01/25 13:24:000015デフォルトの名無しさん
05/01/25 14:11:190016デフォルトの名無しさん
05/01/25 14:17:030017デフォルトの名無しさん
05/01/25 19:06:20今日歯医者に行く
今日は医者に行く
0018デフォルトの名無しさん
05/01/25 20:06:040019デフォルトの名無しさん
05/01/25 20:13:33どちらかというと、より特化したスレ。
0020デフォルトの名無しさん
05/01/25 20:20:370021デフォルトの名無しさん
05/01/25 21:45:510022デフォルトの名無しさん
05/01/25 21:52:350023デフォルトの名無しさん
05/01/25 22:01:41ttp://chasen.naist.jp/hiki/ChaSen/
0024デフォルトの名無しさん
05/01/25 22:22:19半角カタカナ早めろ
半角カタカナは止めろ
単なる誤変換スレ化？
0025デフォルトの名無しさん
05/01/25 23:28:36すでに研究されつくされたテーマって気がするが。
1はスレ立ててないで、論文探した方がいいんじゃないの？
0026デフォルトの名無しさん
05/01/25 23:29:37本当にそうかな？
もしそうなら完璧にできるソフトが存在するはずだ。
0027デフォルトの名無しさん
05/01/25 23:34:31完璧にできるソフトが作れるはずの論文が存在するはずだ、
ならいえるかも知れないが。
0028デフォルトの名無しさん
05/01/25 23:39:030029デフォルトの名無しさん
05/01/25 23:44:04その手の論文は数十年後に破られるのがありがちな話なので、それはなんとも。
0030デフォルトの名無しさん
05/01/26 03:59:06> その手の論文は数十年後に破られるのがありがちな話なので、
実例キボン
0031デフォルトの名無しさん
05/01/26 06:28:42茶筅とか
あとは辞書を増やすだけ
0032デフォルトの名無しさん
05/01/26 07:03:440033デフォルトの名無しさん
05/01/26 15:03:570034デフォルトの名無しさん
05/01/27 06:45:35かんなやうんぬは丸っきりクソだろ？
0035デフォルトの名無しさん
05/01/27 07:01:310036デフォルトの名無しさん
05/01/27 07:10:51Windows用なら参加する。
0037デフォルトの名無しさん
05/01/27 07:50:520038デフォルトの名無しさん
05/01/27 09:12:34gchは抽象化された符号なし文字。
typedef unsigned int uint;
inline gch*GchNext(gch*);
inline gch*GchPrev(gch*,gch*);
inline uint GchLen(gch*);
0039デフォルトの名無しさん
05/01/27 09:59:270040デフォルトの名無しさん
05/01/27 10:11:38をっさん、何を統計するだ？
品詞の数、品詞の並び方のパターン、パターンのパターン…。
文法上の属性か？
0041デフォルトの名無しさん
05/01/27 13:38:180042デフォルトの名無しさん
05/01/27 19:53:400043デフォルトの名無しさん
05/01/27 19:54:420044デフォルトの名無しさん
05/01/27 20:03:54それだったら君個人で作ればいいじゃない。
004544
05/01/27 20:06:180046デフォルトの名無しさん
05/01/27 20:07:13日本語わからねえのか？
おまえこそ形態素解析勉強して日本語読めるようになれよ。
004744
05/01/27 20:07:54○前
0048デフォルトの名無しさん
05/01/27 20:11:09どんなアルゴリズムにするつもりなの？
データが豊富にあったら良い物ができるの？本当に？
0049デフォルトの名無しさん
05/01/27 21:00:31何度も言うが、必要なのはデータとデータ構造だ。
0050デフォルトの名無しさん
05/01/27 21:10:05他のちまちましたデータは辞書.comや省庁回ってこい。
0051デフォルトの名無しさん
05/01/27 21:13:240052デフォルトの名無しさん
05/01/27 21:19:240053デフォルトの名無しさん
05/01/27 21:20:58新規性はないの？
0054デフォルトの名無しさん
05/01/27 21:25:59大学のwebに逝けば変換方法の論文は腐るほど見付かる。ぐぐれ！
0055デフォルトの名無しさん
05/01/27 21:28:46うん、知ってる。
0056デフォルトの名無しさん
05/01/27 21:32:220057デフォルトの名無しさん
05/01/27 21:35:220058デフォルトの名無しさん
05/01/27 21:50:31文「ａを食べる」が真の場合、ａは食べ物に分類される。このように、その文の真偽から食べ物かどうかを知ることができる。
文が偽の場合、その文はどんな文脈にあるか？
0059デフォルトの名無しさん
05/01/27 21:57:24夢や空想、憶測などの心の中の出来事や会話などの文脈に多い。～と思う、～と言う、考える。
また、物語や体験談などでは以前の勘違いを打ち消すことが多い。
0060デフォルトの名無しさん
05/01/27 22:01:560061デフォルトの名無しさん
05/01/27 22:10:14要するに、２ちゃんねるみたいな不規則なソースから知能を作るのは無理そうだな。
0062デフォルトの名無しさん
05/01/27 22:12:102ちゃんねるは日本語としておかしい文章が多いけれど、規則性がないとは言えない
と思うような気がするでそ
0063デフォルトの名無しさん
05/01/27 22:25:100064デフォルトの名無しさん
05/01/28 11:10:050065デフォルトの名無しさん
05/01/29 21:59:33探したのですが上手く誤りの場所を探すことができませんでした。
何かいい方法はないでしょうか？アドバイスください、よろしくお願いします。
0066デフォルトの名無しさん
05/01/29 23:44:34出来の良い売り物を買えばよいです
0067デフォルトの名無しさん
05/01/30 01:34:18総当たり
0068デフォルトの名無しさん
05/01/30 05:45:19> なんつーか先が無さそうでかわいそうな分野だよね
ある手法のことをウェブで比較的あっさり批判してる人がいて、批判された方
がマジでキレてるのには笑った。同じ専門分野の研究者として悲しいとか恥か
しい、みたいなことまで書き連ねてた。
批判の内容が正当なのか間違ってるのかは自分は門外漢だから判断できん。で
も研究の上で不当な批判を受けるのなんか当たり前。誤解や不当な評価があっ
たら、無視したっていいし、冷静に反論してもいい。
細かいことを感情的にウジウジつつくようになってるのはタコツボ化してる何
よりの証拠だね。
0069デフォルトの名無しさん
05/01/30 15:12:04単純にマルコフ連鎖だけを頼りにすると、助詞が邪魔になってうまくいかないって意味？
0070デフォルトの名無しさん
05/01/30 15:25:470071デフォルトの名無しさん
05/01/30 15:42:050072デフォルトの名無しさん
05/01/30 16:14:15ベイズ推定使え。
0073デフォルトの名無しさん
05/01/30 16:39:53bayesはどう考えても無茶だろ(藁
0074６５です
05/01/31 00:11:16にかけて置換誤りなどの誤りの場所を探したいのですが誤りのある部分が閾値を
下回ってくれず上手くいきませんでした。これは音声認識装置は単語区切り（形態素解析）
で文章を出力しているので文字マルコフでは有効ではないということなのでしょうか？
上手く探すいい方法はないでしょうか？（構文解析とか使うのかなあ？）
詳しい方、アドバイスもらえないでしょうか。長文でゴメンナサイ。
0075デフォルトの名無しさん
05/01/31 01:45:110076デフォルトの名無しさん
05/01/31 03:31:01そこまではそいつがやってたが、精度をあげ、リンクなども絡めて
新しい掲示板のトップメニューとして確立したらどう？
まったく新しいインデックスになるよ。KnoppixのHPで紹介されてる
ウェブの中での自分の位置みたいな地図を
掲示板に特化して作るわけ。
そうするとインデックスからスレ同士の関係が把握しやすい。
例えば総合の質問スレにレスつけるか専用の質問スレにレスつけるかどうか
検索せずに目的のスレの大体の場所がわかる。そのスレから引用されてる、
もしくは言及されてる単語が載っているほかのスレも判る。
って、WebProgの新しい掲示板作るスレで言ったらまったく相手にされなかったよ
0077デフォルトの名無しさん
05/01/31 08:18:43既に実現されてるけどな。
0078デフォルトの名無しさん
05/01/31 18:38:30もう少しかみ砕いて、わかりやすく説明してください
0079デフォルトの名無しさん
05/01/31 20:12:49名前出せるほどのものがあるかどうかはしらんが…。
0080デフォルトの名無しさん
05/01/31 21:36:482・3の専門用語が出ているけれど、この世界では当り前だから、要は慣れです。
知っているか知っていないかの違いですね。
しかも、それほど複雑でも無いので、自分で調べてください。
0081デフォルトの名無しさん
05/01/31 22:50:45スレタイ検索に実装して、関連スレを検索可能にするのも楽しそうだけど
0082デフォルトの名無しさん
05/01/31 23:49:38カキコしている人が無意識のうちにやってるカテゴライズを
もう一回やり直すのね。
0083デフォルトの名無しさん
05/02/01 01:44:42形態素分析なんかしないで、スレの内容を適当にベクトル化して
クラスタリングでもしてみるのも面白いかもしれない。
0084デフォルトの名無しさん
05/02/01 02:00:57自分で何言ってるかわかってないだろ。
ベクトル化の前に形態素解析(でもn-gramでもいいけどさ)があるんだろ。
0085デフォルトの名無しさん
05/02/01 02:09:140086デフォルトの名無しさん
05/02/01 04:16:29文字種でベクトル化
日本語の場合、結構いけるかもよ
0087デフォルトの名無しさん
05/02/06 02:01:36http://www.touchgraph.com/TGGoogleBrowser.php?start=unit.aist.go.jp/it/knoppix/
0088デフォルトの名無しさん
05/02/09 01:03:38用いれば簡単にできます。
ただし、問題は、そのためには、各種辞書とかが必要です。
もちろん、それに伴う、確率値とか、コストとか。
さらに、連語とか、複合語とかをどのようにあつかうかとか、
未知語(辞書にない言葉)とかをどのように扱うとか、
いろいろな問題があります。
そこらあたりをなんとかかいぬぐり実用に達しているのが、茶筅とか
その部類の有名な形態素解析な感じです。
研究的にはやりつくした感はありますが、実用にはほど遠いと思います。
これはもはや情報処理というよりは言語学の力を借りないと難しいな
と、個人的には思います。
0089デフォルトの名無しさん
05/02/09 04:54:41> 形態素解析自体は、ラティス構造を用いたヴィテルビアルゴリズムを
「ヴィタビ」(もしくはビタビ)ってんだよ。
0090デフォルトの名無しさん
05/02/09 08:37:26もうどうしようもない事実として受け止めるしかないんでしょうか？
http://ofo.jp/osakana/diary20030522.phtml
POPFile とかも kakasi を使ってるんで、
なんとか解決方法 & パッチは無いものかと思っているんですが。
0091デフォルトの名無しさん
05/02/09 08:53:35> 形態素解析自体は、ラティス構造を用いたヴィテルビアルゴリズムを
> 用いれば簡単にできます。
理屈としてはヴィタビがいいけど、実際に使われるのはA*が多いだろ。
0092デフォルトの名無しさん
05/02/09 11:46:08「お知らせ」なら「知らせ」で検索させた後で
「お」が付く文脈かどうか判定するフロントエンド作れ。
0093デフォルトの名無しさん
05/02/11 21:17:11漏れのマシンは別に一太郎やらATOKやらはインスコしてないのに
C:\Program Files\Justsystem\JSLIB32\AddWord2.exe
なんてものがあります。で、バージョン情報を見たら
「Js形態素解析登録ﾌﾟﾛｸﾞﾗﾑ」とかってなってますた。これってなんですか？
どうしてこんなもんが入ってるか調べる方法とかありますか？
0094デフォルトの名無しさん
05/02/11 21:42:32009593
05/02/11 23:38:49⊂⌒（ つД｀）
｀ヽ_ ノ ⊂ノ
グスグス・・
∩
⊂⌒( _, ,_） ｸﾞｽﾝ・・・。
｀ヽ_つ ⊂ノ
0096デフォルトの名無しさん
05/02/12 10:01:04http://www.sysinternals.com/ntw2k/freeware/procexp.shtml
こういうのでどのプロセスが他に起動するか見てみればどう？
もしくは他のソフトを一個一個試してみてその形態素解析の奴が一緒に
立ち上がった瞬間を見ておくしかないな。
サービスの一つに関連付けられてるかもしれんし。
わかったら何のためのプログラムか、何に使えるのか報告ヨロ
0097デフォルトの名無しさん
05/02/12 15:00:27昨年からJuman-4.0を使っています。
これはどのような特徴を持ったソフトなのですか。
0098デフォルトの名無しさん
05/02/12 15:05:38http://chasen.org/~taku/blog/archives/2004/02/chasen_2.html
0099デフォルトの名無しさん
05/02/12 17:23:44働かさないと理解しがたい。少なくとも私には。
こういうものがメインにはなりえないだろうが、並列処理で
音数律解析が働いている、なんてことはできないものだろうか。
0100デフォルトの名無しさん
05/02/12 21:34:30その構文木から動詞基準で格構造を抽出する方法ってあるでしょうか？？
意味解析が利用できれば可能なのでしょうか・・
0101デフォルトの名無しさん
05/02/12 23:11:10どこかにいい本ない？
0102デフォルトの名無しさん
05/02/12 23:56:07バイト雇ったらどうか？
コンピュータよりずっとまともな処理が期待できると思うが。
0103デフォルトの名無しさん
05/02/14 14:39:43コンバインよりずっとまともな農作業が期待できると思うが。
0104デフォルトの名無しさん
05/02/15 07:12:54やっぱりCですか？
半期javaやってたんだけども、Cやり直すかなぁ…
勝手に思いついたアルゴリズムで文章解析して、
データベースみたいなのを吐き出してまた使えるようなのを作りたいんですが（将来的に）
0105デフォルトの名無しさん
05/02/15 07:18:50Cはどちらかというと向いてないと思う。
文字列の塊を切った貼ったが楽にできる言語の方がいいんじゃないかな。
なわけでやっぱりLispとかかねえ。
0106104
05/02/15 07:42:56Lispって、なんか、そっちへ行ったら帰ってこれなそうな印象が…（苦笑）
0107デフォルトの名無しさん
05/02/15 08:38:50Lispのテイストを味わったことないのなら、一度味わってみるべし。
それから留まるか帰ってくるか決めなされw
0108デフォルトの名無しさん
05/02/15 09:04:30解析するために作られた言語ですから。ただ、左再帰問題というのが
あって、Prologの探索順序の関係で、
<< 文 とは 文 がきて その後に 助詞 と 述語がくる >>
というような定義をすると、最初の部分で、文とは文である、となって
再帰的述語の呼び出しが終了できなくなる。これさへなければ、
あっという間に、簡単な句構造解析くらいできてしまうのですが、
実際にはこれを回避するため一段と複雑なコードを書かなくてはならなくなる。
それでPrologなら圧倒的に有利とはいえませんね。
0109デフォルトの名無しさん
05/02/15 09:16:24形態素解析、構文解析
http://www.web-tscom.co.jp/
たいして金になりそうもないし、ついていけねぇ(;´Д｀)
0110108
05/02/15 09:33:07これは形態素解析が終わってから後の話です。
0111デフォルトの名無しさん
05/02/15 12:15:27> 自然言語を
> 解析するために作られた言語ですから。
そんな話は初耳だな。
>>110
> >108これさへなければ、あっという間に、簡単な句構造解析くらいできてしまうのですが、
>
> これは形態素解析が終わってから後の話です。
自然言語のパーシングがそんな単純な再帰下降で済む話なわけねーじゃん。
0112デフォルトの名無しさん
05/02/15 12:40:03これは自然言語を解析するツールとして作られました。
論理式をそのまま言語にしてみたらというアイデアではあったようですが
言語として設計されたわけではありません。
>自然言語のパーシングがそんな単純な再帰下降で済む話なわけねーじゃん。
完全性の問題を問われない程度のものなら、済むんじゃないですか。
0113デフォルトの名無しさん
05/02/15 15:34:34自然言語をパースするためではなくて、「自然言語処理」一般だろ。
まず専用のパーサで自然言語の文を術語論理に翻訳した上で、
その論理式を用いて知識推論をしようとした、じゃないのか？
自然言語の文を直接Prologでパースするなんて悪い冗談だ。
0114デフォルトの名無しさん
05/02/15 15:39:30> 自然言語処理に向いてるプログラミング言語って、
> やっぱりCですか？
NLP関連でpythonを使う人も多い。
有名なAI: Modern ApproachのPeter Norvigもpythonについて色々書いている。
http://www.norvig.com/
0115デフォルトの名無しさん
05/02/15 15:48:49仏語の論文も読んだことがないので、どういう意図だったかわからない。
ただ、「悪い冗談」であるかどうかも皆目判っていなかったのではないか？
0116デフォルトの名無しさん
05/02/15 16:32:040117デフォルトの名無しさん
05/02/15 16:35:59>まず専用のパーサで自然言語の文を術語論理に翻訳した上で、
そうそう。専用のパーサは無かったと思う。
マルセイユ版Prologが動いて、append/3が発見されるまで
3ヶ月かかったとのことで、今日のProlog観は全然通用しない。
少なくとも知識推論しようとしたなどということはなさそう。
0118デフォルトの名無しさん
05/02/15 17:58:54> 少なくとも知識推論しようとしたなどということはなさそう。
AlainやPhilippeが書いた最初のprologプログラムは人間の質問に答える自動
応答システムです。
0119117
05/02/15 18:52:43なにか資料等残っているならぜひ教えてください。
0120デフォルトの名無しさん
05/02/15 19:21:39http://www.asahi.com/national/update/0215/019.html
これマジか？本当にこんなものがもう実用段階に入ってるのか？
だとしたら俺らがやろうとしてることって一体何なんだ？
0121デフォルトの名無しさん
05/02/15 19:43:18型にはまった人間ばかり評価されるのはなんだかなぁと思った
0122デフォルトの名無しさん
05/02/15 19:59:26採点が楽になるってだけの理由で採用するのはどうかと思うし、
どの程度の性能か具体的に示されていない所が疑問ではあるな。
同等の評価を受けた物であっても、大きく評価が変わるケースが1%でもあれば、それだけでは使い物にならないわけで･･
0123デフォルトの名無しさん
05/02/16 09:00:57ttp://www.lim.univ-mrs.fr/~colmer/ArchivesPublications/HistoireProlog/19november92.pdf
0124デフォルトの名無しさん
05/02/16 11:09:42正規表現は、最強。ライブラリも豊富で最初から自分で作る必要もない。
0125デフォルトの名無しさん
05/02/16 11:21:16Cで書いてあるエンジンって速さを優先してるからじゃない？
String Operationが優れていてそこそこOOPに対応してる言語なら
JavaでもPerlでも。Pythonはどうよ。
RegExpの使いやすさは結構重要かと。
0126デフォルトの名無しさん
05/02/16 11:43:380127デフォルトの名無しさん
05/02/16 13:04:25Perl の方が機能豊富なのに速かった気がするんだけど、どうなんだろう。
まぁ、ベンチマークなんてあてにはできないのだけど。
0128デフォルトの名無しさん
05/02/16 13:07:47KNPとかmsrlだろ。
0129デフォルトの名無しさん
05/02/16 13:10:35あなた、正規表現のエンジンがPerlで書いてあるわけじゃないんだから。
機能の豊富さとそのルールを使わないマッチングの速度も関係ないし。
0130デフォルトの名無しさん
05/02/16 13:13:460131119
05/02/16 13:28:150132デフォルトの名無しさん
05/02/16 18:32:080133デフォルトの名無しさん
05/02/16 19:38:16> 3ヶ月かかったとのことで、今日のProlog観は全然通用しない。
この一連の流れは今のNLP観で言語選択する話だと思っていたのだが…
0134デフォルトの名無しさん
05/02/16 20:31:56>自然言語をパースするためなら、Perlがいいねぇ。
CPANから欧米語のTaggerモジュールが手に入る。
（ただし、あまり精度はよくない。）
http://search.cpan.org/~acoburn/Lingua-EN-Tagger-0.06/Tagger.pm
他のコンピュータ言語で、Tagger, Parserなどのライブラリー、モジュール
が無料で公開されているのはありますか？
0135デフォルトの名無しさん
05/02/16 21:37:37pythonのmonty taggerはちょっと遅いけど速度に厳しい用途でなければ
それほど問題ない。parserもいくつか見かけた。
0136135
05/02/16 21:41:59Monty Tagger http://web.media.mit.edu/~hugo/montytagger/
MontyLingua http://web.media.mit.edu/~hugo/montylingua/index.html
0137デフォルトの名無しさん
05/02/16 23:29:35OpenNLP http://opennlp.sourceforge.net/
OpenNLP Maxent http://maxent.sourceforge.net/
Grok http://grok.sourceforge.net/
OpenNLP Leo http://leonlp.sourceforge.net/
OpenCCG, the OpenNLP CCG Library http://openccg.sourceforge.net/
nlpFarm http://nlpfarm.sourceforge.net/
0138デフォルトの名無しさん
05/02/17 12:25:41> この一連の流れは今のNLP観で言語選択する話だと思っていたのだが…
117のここの部分は、Prologが最初は何の目的で作られたか。その時点で、
可能な技術はどんなものだったかという話に脱線していますね。
0139デフォルトの名無しさん
05/02/17 20:57:44今のNLP観で言語選択すると英語だよな。
0140デフォルトの名無しさん
05/02/18 03:08:43おじいちゃん、おむつからウンコがはみ出てますよ。
0141デフォルトの名無しさん
05/02/18 22:41:520142デフォルトの名無しさん
05/02/19 01:20:340143デフォルトの名無しさん
05/02/20 14:25:59FAって単語が分かれば>>141は書き込まないと思われ。
0144デフォルトの名無しさん
05/02/20 22:52:120145デフォルトの名無しさん
05/02/21 02:49:230146デフォルトの名無しさん
05/02/21 04:03:440147デフォルトの名無しさん
05/02/21 17:18:490148デフォルトの名無しさん
05/02/23 13:53:290149デフォルトの名無しさん
05/02/23 14:27:380150デフォルトの名無しさん
05/02/23 15:06:160151デフォルトの名無しさん
05/02/23 15:40:480152デフォルトの名無しさん
05/02/24 10:52:170153デフォルトの名無しさん
05/02/24 16:19:060154デフォルトの名無しさん
05/02/28 12:44:170155M.B.
05/03/03 10:52:04形態素解析システム組んだのはいいが、
係り受けの処理とどうやって融合したらいいかよくわからん。
チャート法っつーのは本来構文解析によく使われる手法だっつーのだが、
日本語みたいなForth もどきの文法構造を持った言語だと、
BNF みたいな形での抽象的な構文法の記述がうまくいかん。
誰か解決策を知らないか？
0156デフォルトの名無しさん
05/03/03 15:31:37じゃ，どうやってインデックス作ってるんだろう．
N-gram じゃないだろうしなぁ．インデックスサイズから考えても．
0157M.B.
05/03/03 19:33:04解析精度が低くていいなら、手法はそれなりにあると思われ。
英文用のスペルチェッカーなんかはそうした経験則の集大成だし。
漢字以外の文字から漢字に変わる点でぶった切って、
切れたものの末尾から附属語らしき要素を取りつくしてくだけで、
インデックス用のキー文字列は作れるしね。
あとは検索用の文字列に同じ処理を施して、それをキーにして候補を
かき集めて、それからじっくりマッチするかどうかチェックしてけばいい。
0158デフォルトの名無しさん
05/03/03 21:27:46係り受けなんて品詞で辿れるもんじゃないの？
自分で文章組み立てる手順とか考えた事ある？
つーか何のためにチャート法にしたの？
0159M.B.
05/03/03 21:53:32日本語だと省略が多いもんだから、
「嬉しいです」の「連体形＋用言（助動詞）」みたいに、
ある程度長いスパンで見ないと係り受けの関係が見えないケースが多いのよ。
だから、体言ごとに格を推定して、動詞のほうから必要な格を割り出して、
余ってる体言が出ないようにするとかいった手続きが、
係り受けの推定には必要なわけ。
> つーか何のためにチャート法にしたの？
かな漢字変換もできる双方向の解析システム作ってたら、
結果的にそうなっちゃった。
「はくさいやだいこんなどのやさいが」は、切り方によって
「白砂 嫌だ こんな どの 野菜が」みたいな
いろんな屑候補が出てくるのだが、これをバックトラックで処理してると
同じ処理を何度もやることになって具合が悪い。
チャート法なら同じ部分の解析は一度しかされないし、
見込みのありそうな候補に絞って探索するとかいった制御も楽。
0160デフォルトの名無しさん
05/03/04 12:20:330161M.B.
05/03/04 16:25:06チャート法に代表される、並列処理にもってきやすい技法とも
併用可能なので、実用化っつー部分では要チェックと思われ。
ただ、「意味に即した解析」をうまく取り込むには、
職人芸的な技巧が要求されるので、「機械翻訳の質を上げる」みたいな
意味に踏み込んだ処理をやろうとすると、使いこなせるのは
ごく一部の特殊な才能を持った人なんじゃないかなぁ、と思う。
本当にできる人は、かな漢字変換に使われる「接続テーブル法」とかの
制約の中でも、意味処理に近いことをやってたしね。
0162デフォルトの名無しさん
05/03/05 13:37:38補強項処理を追加したら？
つまり文法記述中にJAVAのプログラムを記述する。
補強項つきの文法をいったんJAVAプログラムに落とすために、コンパイラコンパイラを
作る必要があるが、たいした手間ではないでしょう。
チャートパーサは、ちょっと変更すれば、そのまま使えるはず。
0163デフォルトの名無しさん
05/03/05 13:44:33お?[亜-黑ア-ヶー -◯Α-ωА-я0-9a-zA-Z]+[あ-んー]*[!?！？。、]?
|
[あ-んア-ヶー]+[!?！？。、]?
0164デフォルトの名無しさん
05/03/05 15:56:11昔あったような・・・
0165デフォルトの名無しさん
05/03/05 16:31:33わりに合わない気がするし。
文字コードの問題もあるし。
これが必ず正しい！って毎回答えが決まるわけでもないし。
おまえら形態素解析して何に使ってますか？
0166デフォルトの名無しさん
05/03/05 16:41:200167M.B.
05/03/05 20:52:53聴覚障害者や外国人向けの、漢字かな交じり文の読解支援。
読みがわからんと国語辞典が引けんので、
漢和辞典を引くしかなく、けっこうツラい。
「冷たい」と「冷える」、「下ろす」と「下がる」、
「生やす」と「生む」等、「漢和辞典引いて
読みを調べて国語辞典引いて活用形調べて
どれがマッチするか確認して……」とかいった手続きが
必要な語はけっこうある。それ以外にも、
「入れない」がイレナイかハイレナイか、「行った」が
イッタかオコナッタかわからないとかいった問題もある。
辞書引きの自動化だけでも、助かる人はけっこういる。
0168デフォルトの名無しさん
05/03/06 00:00:400169デフォルトの名無しさん
05/03/06 06:14:22このスレの運命やいかに？！
0170M.B.
05/03/06 07:40:32いまあるシステム自体がコンパイラ・コンパイラに近いので、
C 言語のインライン・アセンブラとかJava のJSP みたいな方法で
実装はできそうだな。
考えてみる。サンクスコ。
0171デフォルトの名無しさん
05/03/06 12:11:17マールーコーフ！
マールーコーフ！
マールーコーフ！
ハイ！fgg'いつもやるのは緑の積分！
0172デフォルトの名無しさん
05/03/07 04:07:360173デフォルトの名無しさん
NGNG0174デフォルトの名無しさん
NGNGこれでも嫁。
http://markun.cs.shinshu-u.ac.jp/learn/probability/i_04-00.html
0175デフォルトの名無しさん
2005/04/19(火) 20:27:420176デフォルトの名無しさん
2005/05/16(月) 10:06:000177Mb
2005/07/21(木) 21:09:26いつの間にか消えているのだが、
誰か消息を知らないか。
0178デフォルトの名無しさん
2005/07/23(土) 13:57:520179デフォルトの名無しさん
2005/08/18(木) 05:57:51,,r 〈:::::::::） ｨ::::::ヽ
〃 ,::::;r‐'´ ヽ::ノ
,'::;' /::/ __
l:::l ｌ::::ｌ /:::::) ,:::::､ ｊi
|::::ヽ ｊ::::ｌ、ゝ‐′ ﾞ:;;:ﾉ ,j:l
}:::::::ヽ!::::::::ゝ、 <:::.ｧ ＿_ノ::;! パンダー！
. {::::::::::::::::::::::::::::`='=‐'´:::::::::/
';::::::::::::ﾄ､::::::::::::::i＾i::::::::::::/
｀ｰ--' ヽ:::::::::::ｌ l;;;;::::ノ
`ｰ-"
【ラッキーレス】
このレスを見た人はコピペでもいいので
10分以内に3つのスレへ貼り付けてください。
そうすれば１４日後好きな人から告白されるわ宝くじは当たるわ
出世しまくるわ体の悪い所全部治るわでえらい事です。
0180デフォルトの名無しさん
2005/09/02(金) 22:23:43なにあの手作り感ｗ
0181デフォルトの名無しさん
2005/09/03(土) 01:11:520182デフォルトの名無しさん
2005/09/03(土) 01:27:220183デフォルトの名無しさん
2005/09/03(土) 03:19:230184デフォルトの名無しさん
2005/09/03(土) 03:38:250185デフォルトの名無しさん
2005/09/03(土) 14:53:150186デフォルトの名無しさん
2005/09/04(日) 11:54:07頭大丈夫？
0187デフォルトの名無しさん
2005/09/04(日) 21:11:320188デフォルトの名無しさん
2005/09/05(月) 14:57:260189名無しさん＠そうだ選挙に行こう
2005/09/11(日) 17:40:250190名無しさん＠そうだ選挙に行こう
2005/09/11(日) 18:22:28特に日本語の場合は一般に認知された文法が役立たずな事がわかっただけか
0191名無しさん＠そうだ選挙に行こう
2005/09/11(日) 18:47:560192名無しさん＠そうだ選挙に行こう
2005/09/11(日) 20:03:14だったらおおざっぱな品詞だけを定義して
あとはタグ付きの巨大なコーパスで学習させた方がよくね？
0193デフォルトの名無しさん
2005/09/12(月) 06:58:13・あとはタグ付きの巨大なコーパスで学習させた方がよくね
ぷげら
学習アルゴリズムだけで、後は自動で人工知能とかできたら、いいねぇ（ｗ
0194デフォルトの名無しさん
2005/09/12(月) 12:14:200195デフォルトの名無しさん
2005/09/12(月) 13:31:580196デフォルトの名無しさん
2005/09/12(月) 16:15:530197デフォルトの名無しさん
2005/09/13(火) 01:21:080198デフォルトの名無しさん
2005/09/13(火) 07:24:08おめでたいな。
0199デフォルトの名無しさん
2005/09/13(火) 10:52:26なんでこここんなレベル低いの。
0200デフォルトの名無しさん
2005/09/13(火) 11:59:11学習機構がないなんて言っちゃうレベル低いのはお前
0201デフォルトの名無しさん
2005/09/13(火) 12:05:15このどこに学習機構があるのか教えてちょ
0202デフォルトの名無しさん
2005/09/13(火) 16:14:18コーパスから確率モデルを計算してるのは確かだから
そういう意味では学習しているけど
毎回モデルを計算しているのではなく
毎回計算しているのはコストだろ
0203デフォルトの名無しさん
2005/09/13(火) 16:24:18正直おとなげなかった。スマソ
0204デフォルトの名無しさん
2005/09/14(水) 01:31:54教授のところにいってきたんだけど5時間正座させられてお説教された
ひどい
0205デフォルトの名無しさん
2005/09/15(木) 01:53:470206デフォルトの名無しさん
2005/09/15(木) 03:07:38当たり前だ馬鹿。
おまえ自分の論文見せてくれって言われたとき困らないとでも思ったのか？
0207デフォルトの名無しさん
2005/09/15(木) 05:53:09形態素解析でエロさが出るかバカという点では教授に同意。
0208デフォルトの名無しさん
2005/09/16(金) 23:03:16そつぎょうかだいせいさく くらいの軽いノリで
0209デフォルトの名無しさん
2005/09/16(金) 23:23:410210デフォルトの名無しさん
2005/10/08(土) 00:05:44/bin/mecab -Oyomi "今日は良い天気ですね。"
見たいな感じです。
エロい人お願いします。
0211デフォルトの名無しさん
2005/10/08(土) 04:17:19出来るならどの様に使うか教えてください。
0212デフォルトの名無しさん
2005/10/10(月) 03:56:520213デフォルトの名無しさん
2005/10/17(月) 00:07:070214デフォルトの名無しさん
2005/11/11(金) 22:09:52英語コーパスを元に、thisisapen を this/is/a/pen に区切ってみたり。
"t-h" の確率を "t- -h" の確率と比較して正規化して合計するだけだが、
未知語もそれなりに上手く分けられる予感。超遅いが。
で、これをどうやって日本語の形態素解析に応用すればいいのかが
分からん。英語みたいに既に区切られた分けられた情報に頼るってのも、
結局辞書を人様が作ってるみたいで、なんかヤダ。
教えてエラい人！
0215デフォルトの名無しさん
2005/11/11(金) 22:57:37たくさんテキスト食わせて比較してみたら～
0217仕様書無しさん
2005/11/15(火) 22:07:43体言は異表記も認める）を作ってみたのだが、
・Web上のどのサイトを検索対象にするか
・インデクスはすでに存在するとして、鍵語の集まりから
効率よく対象のページを検索する問合せ（SQLを想定）はどう
生成するか
で詰まっている。小規模な検索（たとえば自分のマシンにある.txt
ファイルだけを対象とするとか）だったら悩まなくて済むのだが、
なんか面白い用途ってないもんだろうか。
0218デフォルトの名無しさん
2005/11/15(火) 22:30:44ほとんど淘汰されて消えちゃったからね。
正規表現で検索できるサーチエンジンとか作らない？
#小規模検索はestraireがありゃいいや
0219仕様書無しさん
2005/11/15(火) 23:05:26それってgrepって言わないか？(^_^;)
冗談はともかく、その部分は
・インデクスにどんな情報を持たせるか（インデクスDB設計）
・インデクスを抱えてるDBサーバにどんな問合せをするか（DBインタフェース）
・問合せに対して、どれだけレスポンスを上げるか（探索戦略および
チューニングの問題）
なので、形態素解析とか日本語処理とかとは別の話題かと。
DBインタフェースの一部として、自然言語インタフェースとか考えるなら
また別なのだが。
0220デフォルトの名無しさん
2005/11/16(水) 11:29:06とっくにRDBMSについてると思う……。
0221デフォルトの名無しさん
2005/11/18(金) 13:21:330222ハーピィ
2005/12/05(月) 02:45:150223Mb
2006/03/14(火) 22:37:450224http://www.vector.co.jp/soft/win95/util/se072729.html
2006/03/18(土) 20:27:21もしくは64bitにネイティブ対応したテキスト置換ソフトありますか？
0225デフォルトの名無しさん
2006/04/10(月) 21:57:430226デフォルトの名無しさん
2006/04/11(火) 15:06:25形態素解析って楽になると思うんだけど、そんな仕様ないの？
0227デフォルトの名無しさん
2006/04/11(火) 16:20:340228デフォルトの名無しさん
2006/04/11(火) 21:42:17http://www.doraneko.org/webauth/ruby/19981221/Overview.html
これのこと？
実際の現場では、形態素解析ソフトを使って文章にルビふってるけども？
0229デフォルトの名無しさん
2006/04/27(木) 09:14:19めかぶが自力でコーパスの学習出来るので遊んでみたいのですが、
学習コーパスをどの位用意しなきゃならないか、わからないので。
0230デフォルトの名無しさん
2006/04/27(木) 17:23:39そんな方法ってないんかのう。
0231デフォルトの名無しさん
2006/04/27(木) 18:42:23圧縮ソフトのアルゴリズムが利用できるかも？
辞書式ってのは、よくでてくるビット列に短い符号を割り当てるんだから、
そのあたりを応用すれば、単語としてよくあるものが抽出されると思う。
ただし品詞タグ付は無理だろうけど。
このアイデアはどう？
で、めかぶや茶筌が動くコーパスはどの位の大きさが必要なのかなぁ？
だれか知ってる人いない？
0232デフォルトの名無しさん
2006/04/27(木) 19:06:56つか、俺はそうやってる。
0233デフォルトの名無しさん
2006/04/27(木) 19:18:10それは>>230へ対する回答？
それとも>>231へ対する回答？
辞書で100万語は多すぎるし(辞書になってない)
学習コーパスの必要量なら、文章が良くわからない。
0234デフォルトの名無しさん
2006/04/27(木) 22:13:57コンパイルして実行してくれる研究プロジェクトはありますか？
0235デフォルトの名無しさん
2006/04/27(木) 22:50:440236デフォルトの名無しさん
2006/04/28(金) 07:20:22計算機言語が覚えられない程度の馬鹿は、
日本語でも業務をまともに記述できないから、
そんな研究しても無意味だと思うけど、
やってる人はいると思う。
0237デフォルトの名無しさん
2006/08/25(金) 22:38:250238デフォルトの名無しさん
2006/08/26(土) 02:05:17ｳﾘもｳﾘも
0239デフォルトの名無しさん
2006/08/31(木) 21:50:250240デフォルトの名無しさん
2006/08/31(木) 21:52:24のこったのがふめいたんごー
0241デフォルトの名無しさん
2006/08/31(木) 21:59:26分かっている単語が無いです。
どこかにフリーの単語辞書はありますか？
茶筌についてきますか？
0242デフォルトの名無しさん
2006/08/31(木) 22:04:22みたいな文から「エキゾチックマグナム」を不明単語として抽出したいです。
茶筌でできますか？
あとベイズって
P = [馬][鹿] / ( [馬][鹿] + [^馬][^鹿] )
みたいな感じで使うものなんですか？
0243デフォルトの名無しさん
2006/09/01(金) 07:43:11形態素解析器で「エキゾチックマグナム」を形態素として取り出すのは不可能と思われ
解析できてしまうからね
複合語の抽出には形態素解析とは別のアプローチが必要
0244デフォルトの名無しさん
2006/09/02(土) 12:33:380245デフォルトの名無しさん
2006/09/13(水) 04:24:11＞複合語の抽出には形態素解析とは別のアプローチが必要
「従来の形態素解析」とは、なんじゃ・・・・
形態素解析について詳しい訳じゃないけど、複合語抽出を
構文解析とみるか、形態素解析と見るかで言えば、形態素解析の範疇だと思うけど、
「いいや,構文解析だ！！」と叱られてしまうと、嫌な気分になって言い返せないし、
「これこれこういう理由が有って構文解析だ！！」と言われると一つ勉強になるので
ありがたい。
とわいえ、形態素解析、複合語抽出、構文解析、と言う話も有るとも思うし。
0246デフォルトの名無しさん
2006/09/15(金) 04:05:27だなんて意味不明なレス相手にマジレス乙
0247デフォルトの名無しさん
2006/09/15(金) 16:32:390248242
2006/09/23(土) 23:37:34つまり形態素解析後、「エキゾチック」と「マグナム」の組み合わせが
未知のものであるか？という判定を何らかの方法で行わないと、
複合語を不明単語として取り出すことはできないということですね。
オタ同士の会話だと、即席の複合語がその場で作られたりすることも
あるので、難しいですね・・・。
0249デフォルトの名無しさん
2006/09/24(日) 00:28:24「エキゾチック＋マグナム」が98%、「エキゾチックマグナム」が1%、その他が1%、
みたいな解析結果のほうが、現象の記述としてより忠実。
0250デフォルトの名無しさん
2006/09/24(日) 07:29:35「エキゾチックマグナム」を1語と思うか2語と思うかは意見が分かれるだろうからね
0251デフォルトの名無しさん
2006/10/10(火) 19:18:090252デフォルトの名無しさん
2006/10/10(火) 19:21:22その辺は使用頻度＝単語の区分けという認識で問題ないのでは？
0253デフォルトの名無しさん
2006/10/10(火) 19:22:100254デフォルトの名無しさん
2006/10/10(火) 19:27:55形態素辞書ならたいてい付いているんじゃないの？
0255デフォルトの名無しさん
2006/10/10(火) 20:18:15そんなのが本屋売ってるかよ
0256デフォルトの名無しさん
2006/10/10(火) 23:18:07広東語でおｋ
0257デフォルトの名無しさん
2006/10/11(水) 03:27:580258デフォルトの名無しさん
2006/10/11(水) 12:21:560259デフォルトの名無しさん
2006/10/11(水) 14:16:400260デフォルトの名無しさん
2006/10/12(木) 12:28:22書き：動詞,自立,*,*,五段・カ行イ音便,連用形,書く,カキ,カキ
ながら：助詞,接続助詞,*,*,*,*,ながら,ナガラ,ナガラ
が吐かれるけど、辞書を見ると「書き」自体の文字情報はなく、
あるのは「書く,カキ,カキ」だけ。
活用の解析はどうやってるんだろう。
単純に読みだけを見るとしても、漢字1文字=読みのカナ1文字とは限らないし。
0261デフォルトの名無しさん
2006/10/12(木) 19:23:37書か(ない)、書き(ます)、書く、書け、書こう
みたいな検索が全部ひっかかる、それだけの話だと思うけど。
0262デフォルトの名無しさん
2006/10/12(木) 19:25:39使用頻度∝単語区分けの適合確率
だろｗｗｗｗ
0263文学
2006/12/18(月) 03:52:31どうやればいいのでしょうか？
0264デフォルトの名無しさん
2006/12/18(月) 12:43:320265デフォルトの名無しさん
2006/12/25(月) 20:00:37第六章 結婚前後の諸心得
第二節 甘美な新婚旅行
- 入浴をするとき -
夫としては、
「どうです、一緒に入りませんか」
というのが一応のエチケットとなっている。しかしお互いにまだ清浄な関係
である場合には、新婦としていきなりその言葉に従い、いそいそとして夫につ
いて行くのはどうかと思う。初夜が済むまでは矢張り、ほのかな羞恥の色を漂
わせながら、にこやかに
「ええ、でも、あとでいただきますわ」
と柔かく辞退して別々に入浴する方が好ましい。夫としてもそれが花嫁のエ
チケットだと思って、しつこくすすめないことである。
しかし初夜が済んでからは、最早や完全な夫婦となったのであるから、二人
で入る方が却ってよろしい。そうだからといって、矢張り女としてのはにかみ
は忘れてはならない。湯船に入るときでも
「おねがい、向う向いてて」
などといっておいて、静かに入る。また湯船の中でも、乳のあたりへはタオ
ルを軽く当てて、ともかく露骨になるようなことは避けなければならない。
0266デフォルトの名無しさん
2006/12/25(月) 21:01:31わっふる、わっふる
0267デフォルトの名無しさん
2006/12/26(火) 01:15:360268デフォルトの名無しさん
2007/01/02(火) 03:50:30!!!
0269デフォルトの名無しさん
2007/01/02(火) 04:44:540270デフォルトの名無しさん
2007/02/02(金) 12:06:30なんかデッドリンクで公開ページがないんだけど。
mecabより強力なら是非手に入れたい。
ついでにage
0271デフォルトの名無しさん
2007/02/07(水) 15:14:44↑なんか異常にかっこいい
0272デフォルトの名無しさん
2007/05/03(木) 18:18:07漢字仮名まじりの通常の表記に効率的に
変換するために役立ちそうなソフトウェアを
探しています。
例：
kekkou kireinagakkou zyanai
結構 奇麗な学校 じゃない
全自動変換では間違いが多そうなので，ソフトウェアが
提示するいくつかの変換候補の中から，正しいものを日
本人のオペレータが選ぶ，という作業を考えています。
少しでも作業効率を上げるためのヒント，ソフトウェア
などはございますでしょうか？
0273デフォルトの名無しさん
2007/05/03(木) 23:05:46面倒くさいなり
0274デフォルトの名無しさん
2007/05/04(金) 01:18:55オペレータがワープロ入力するのが一番速そうな気がする。
0275デフォルトの名無しさん
2007/05/04(金) 21:57:06それは俺らが日本語を入力するとき使うのと同じ仮名漢字変換に、
何らかの方法でテキストを渡せばできそう。
0276デフォルトの名無しさん
2007/05/04(金) 21:59:35LinuxならAnthyでできたよ。最後の(space)は変換用。
$ echo "kekkou kireinagakkou zyanai(space)" | anthy-agent
(3 ((UL RV) "結構" 0 7) ((UL) "きれいな" 0 4) ((UL) "学校じゃない" 0 3))
0277デフォルトの名無しさん
2007/05/04(金) 22:03:33速記をなめてね？
0278デフォルトの名無しさん
2007/05/05(土) 23:36:56はい、そこまでは理解できますが、実際にどのような
方法で可能かが分かりません。
>>276
素晴らしく分かりやすい実例までありがとうございます。
Anthyを試してみます。
0279デフォルトの名無しさん
2007/05/06(日) 10:31:03あれ、どういう仕組みなんだろ
0280デフォルトの名無しさん
2007/05/06(日) 12:15:07多分JavaScriptよりもっと干渉できるやつでも使ってるんじゃないの？DirectXとか。
0281デフォルトの名無しさん
2007/05/06(日) 22:14:27http://chasen.org/~taku/software/ajax/imekwic/
連休中なので、動いていない？
0282デフォルトの名無しさん
2007/05/07(月) 09:59:40http://ajaxime.chasen.org/index.html
0283デフォルトの名無しさん
2007/08/31(金) 15:47:460284デフォルトの名無しさん
2007/09/01(土) 13:46:11地方や皇族、政治、あらゆる専門分野、日本語が１つだと定義すれば扱えない
言葉や用語だらけになる。
会話言葉と目的別文章でも激しく特定できない。
>>1
>まず単語や品詞に分ける必要があります。
機械的な言葉の分類遊びならともかく。。。。。。
これは正しいとはいえない。言葉というのは柔軟性があり生き物である。
別ける時点で意味が変更されることもある。ある程度まとまった文節で
巨大辞書で判断するのが妥当でしょう。
文法で明らかに変でも通常の言葉として扱われているものとかＮＨＫとかで
時々解説放送がある。それらは言葉が生き物であることを証明するもので、
日本語は言葉として扱うのではなく、概念として扱うべきです。
翻訳が正しくても作成者の意味が通じないのでは翻訳としてはできそこないです。
日本語を正しく扱えるには価値観とその雰囲気、心を読み解く抽象認識処理が
必須になるでしょう。
0285デフォルトの名無しさん
2007/09/01(土) 20:28:270286デフォルトの名無しさん
2007/09/02(日) 08:49:46最近のグーグルの調子はおかしいよね
0287デフォルトの名無しさん
2007/09/05(水) 19:11:28anthy-agent にひらがな入力する方法はないのかな。
0288デフォルトの名無しさん
2007/12/19(水) 18:41:14yahoo!の形態素解析使ってるんですがreadingがうまく表示されません。
surface pos readingと表示させようとしたら
美しい 形容詞 形容詞 となぜか、readingにも品詞が入ってるみたいな気がします。
reading単体で使ってもなぜか品詞が返ってきます。
どなたか助けてください。。。
0289デフォルトの名無しさん
2007/12/19(水) 18:42:480290デフォルトの名無しさん
2007/12/19(水) 18:43:540291デフォルトの名無しさん
2008/02/04(月) 10:20:29言語を文書から自動生成したい
こんなのありますよ 参考に
辞書不要の形態素解析エンジン「マリモ」とは http://www.atmarkit.co.jp/news/200708/15/mooter.html
0292デフォルトの名無しさん
2008/02/04(月) 10:24:54どの文書でも重要でない単語を無視すれば良い単語帳が作れるはず
TF・IDF法
http://nlp.nagaokaut.ac.jp/wiki/wiki.cgi/term?page=TF%A1%A6IDF
0293デフォルトの名無しさん
2008/02/04(月) 11:16:52ここなかなかいいよ
0294デフォルトの名無しさん
2008/02/04(月) 12:16:30類似語
勝利 大勝利
類似語でない
本人 日本人
カウント アカウント
京都 東京都
0295デフォルトの名無しさん
2008/02/04(月) 12:18:230296デフォルトの名無しさん
2008/02/04(月) 12:25:33自動化したいのですが こういうやつはどうやればできますか
http://labs.preferred.jp/reflexa/
0297デフォルトの名無しさん
2008/02/04(月) 12:35:09類似語の分類をするルーチン作ろうぜ
0298デフォルトの名無しさん
2008/02/04(月) 13:47:37あと形態素解析はあまり有効でない気がします
何故ならば日本語研究が必須になってしまう為です 韓国や中国に対応できないし
素解・・・あり得ない
形態素・・・ある
本語・・・あり得ない
日本語・・・ある
というのを数値的に表したいものです
0299デフォルトの名無しさん
2008/02/04(月) 22:40:260300デフォルトの名無しさん
2008/02/04(月) 22:46:53１単語のズレのある類似文書から品詞分解が判りますかね
たとえば
僕は釣りをします → 僕 は 釣り を します
私は料理をしますわ → 私 は 料理 を しますわ → 僕 は 料理 を します
とすると、釣りと料理は同じ分類だと判明します
0301デフォルトの名無しさん
2008/02/04(月) 22:51:21文法研究をすっ飛ばして考えるなら、
文章のログから部分共通文字列を探せば見つかるような気がする。
0302デフォルトの名無しさん
2008/02/05(火) 00:22:010303デフォルトの名無しさん
2008/02/05(火) 00:57:540304デフォルトの名無しさん
2008/02/05(火) 06:37:270305デフォルトの名無しさん
2008/02/05(火) 09:54:40京都と東京都は、地名として考えたら類似じゃない？
0306デフォルトの名無しさん
2008/02/05(火) 11:15:02東狂都
0307デフォルトの名無しさん
2008/02/05(火) 11:42:17インディックスサイズが小さくできても
ウェブページのようにメモリに全て載せられないなら検索速くならないし・・・
0308デフォルトの名無しさん
2008/02/05(火) 11:44:29ファイルサイズ小さくできてサイズの3～5倍のメモリ消費ですむだろうから
0309デフォルトの名無しさん
2008/02/05(火) 11:55:19「Googleの弱点を克服したアルゴリズムによる検索エンジンを世界で初めて実装した」
Sedue：圧縮接尾辞配列を実装した初の商用検索エンジン
http://itpro.nikkeibp.co.jp/article/NEWS/20070209/261537/
0310デフォルトの名無しさん
2008/02/05(火) 19:13:35接尾語処理なんて、google以前から大抵の検索エンジンでやってたことなのに・・・
0311デフォルトの名無しさん
2008/02/05(火) 20:19:160312デフォルトの名無しさん
2008/02/05(火) 22:12:200313デフォルトの名無しさん
2008/02/06(水) 12:52:48たとえば、日本語はご存じの通り、文章が単語で区切られていません、なら
日 本語 は ご 存じ の通 り、 文 章が 単 語で区 切られて い ま せん の確率は0.01%
日本語 は ご存じ の 通り 、 文章 が 単語 で 区切られて いません だと10%
とか計算できればよい
0314デフォルトの名無しさん
2008/02/06(水) 21:24:05ひょっとしてマルコフ連鎖のことを言いたい？
0315デフォルトの名無しさん
2008/02/06(水) 22:35:110316デフォルトの名無しさん
2008/02/07(木) 04:54:43マルコフ連鎖とは違う
前後の繋がりだけではなく、すべての分割に対してもっとも確率が上がるもの
0317デフォルトの名無しさん
2008/02/07(木) 05:05:06たとえば、文書が１単語となる確率が高いなら、次のように分割され残りの文書は短い
たとえば、日本語はご存じの通り、
文章
が単語で区切られていません
0318デフォルトの名無しさん
2008/02/07(木) 05:16:590319デフォルトの名無しさん
2008/02/07(木) 05:30:29日本語￥n+xは￥n+x単語￥n+xに￥n+x拠って￥n+x区切られ￥n+xます￥n+x。
ですが￥n+x、￥n+x詳細￥n+xの￥n+x作成￥n+xは￥n+x大変￥n+xな￥n+x事￥n+xでしょう￥n+x…
0320デフォルトの名無しさん
2008/02/07(木) 07:21:39だからマルコフ連鎖をA*探索したのとどう違うんだって？
0321デフォルトの名無しさん
2008/02/07(木) 21:14:400322デフォルトの名無しさん
2008/02/07(木) 23:29:31前後のつながりだけじゃないって書いてるじゃん。
0323デフォルトの名無しさん
2008/02/07(木) 23:36:23ここをもうちょっと formal な形で言わないと伝わらないと思われ
どういう確率モデルを想定しているのか。つーか俺にも伝わってない
単語分割をマルコフ連鎖でモデル化したのなら >320 の指摘通りだと思うのだが
0324デフォルトの名無しさん
2008/02/10(日) 16:31:23http://www.amazon.co.jp/%E8%A8%80%E8%AA%9E%E3%81%A8%E8%A8%88%E7%AE%97-4-%E7%A2%BA%E7%8E%87%E7%9A%84%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB-%E5%8C%97-%E7%A0%94%E4%BA%8C/dp/4130654047
0325デフォルトの名無しさん
2008/02/10(日) 16:37:25ああ、その本はいい本だよ。B4のゼミとかに丁度いいんじゃないかな。
0326デフォルトの名無しさん
2008/02/11(月) 08:21:360327デフォルトの名無しさん
2008/02/23(土) 13:44:460328デフォルトの名無しさん
2008/02/23(土) 14:13:430329デフォルトの名無しさん
2008/03/27(木) 07:31:14>スを実現しているもの(Sennaおよびtextsearch-ja)は、
>現在バックエンドエンジンとしてMecabを推奨してい
>るようです。
あるフォーラムあらのコピーですが、本道だとすると、
すごいですね？！ AppleのOSXの日本語処理もMecab?
Mecabの一人勝ちか。
0330デフォルトの名無しさん
2008/03/29(土) 01:45:22>AppleのOSXの日本語処理もMecab?
そうなん?
Mac OS X には Language Analysis Manager というのがあるけど。
ありゃ、リファレンスを見ると Leopard から deprecated だな。
0331デフォルトの名無しさん
2008/04/05(土) 11:11:05おっと、ちょっと調べたら確かにMeCabが使われてるね。知らんかった。
0332デフォルトの名無しさん
2008/04/05(土) 23:48:58スピーチ周りでVocaloid時代を十数年先取りしてた企業のくせに
自社技術捨ててオープン物に蔵換えか
そろそろジョブズ氏ねよ
0333デフォルトの名無しさん
2008/04/07(月) 06:31:49初音ミクのApple版でも出せってかw
まー形態素解析ってメインは日本語とかでしょ。アジア方面はもともと「二の次」感が。
オープンソースで手に入る共通な技術があったなら使わせてもらう、というのが流れ
なのかなあと。もう何から何まで自家製というんじゃなくて、企業として独自性を
打ち出す部分だけ頑張る、みたいな感じなんじゃないかな。
0334デフォルトの名無しさん
2008/04/07(月) 19:37:410335デフォルトの名無しさん
2008/04/09(水) 21:10:160336デフォルトの名無しさん
2008/04/22(火) 02:47:39オープンものに頼った結果ってことか。
奴らの言う最先端とやらは素晴らしい技術力だことで（呆
MS-IMEの糞っぷりも失笑ものだが、
Macの信仰のしどころの間違いっぷりは抱腹絶倒だな
0337デフォルトの名無しさん
2008/04/22(火) 07:44:330338デフォルトの名無しさん
2008/04/27(日) 00:53:200339デフォルトの名無しさん
2008/06/04(水) 21:42:08というライブラリがあったんですが、知りませんか？
日本人が作っていたと思うのですが
0340デフォルトの名無しさん
2008/06/05(木) 01:30:080341デフォルトの名無しさん
2008/06/05(木) 22:29:380342デフォルトの名無しさん
2008/06/11(水) 22:29:450343デフォルトの名無しさん
2008/06/17(火) 06:33:300344デフォルトの名無しさん
2008/06/19(木) 15:13:430345デフォルトの名無しさん
2008/06/21(土) 03:34:280346デフォルトの名無しさん
2008/09/08(月) 16:17:27マダ～？
0347デフォルトの名無しさん
2008/11/02(日) 02:31:17形態素解析辞書UniDic
というものがありますが、これは一般的な日本語変換プログラム用のの辞書とは
性質が異なるものですか?
MeCabを使う時は、この手の辞書を一緒に使うことが必要なんですか?
0348デフォルトの名無しさん
2008/11/02(日) 08:04:58MeCabは単に文法的に単語分割できるかを調べるだけなので
本来固有名詞なのが文法的に他の意味に取られる場合、
MeCabにはそれが固有名詞であることを知らないので、間違った解釈をされることもある
0349デフォルトの名無しさん
2008/11/02(日) 10:00:21なるほど、といことは主に固有名詞の判定に関係する部分を改善できるという感じ
ですかね?
逆に言うと、固有名詞以外の部分で解析がうまくいっていない場合にUniDicを
追加したところで改善されることはないとか...???
0350デフォルトの名無しさん
2008/12/01(月) 11:56:25今、プログラムの処理の過程で
カタカナを音節単位でローマ字に変換する必要に迫られています。
kakasiでカタカナをローマ字に変換すると、例えば
チョット は chottoと変換されます。
これを、音節単位で区切りたいのです。
この場合だと、
"cho"と"tto"くらいで分けれれば良いと思っています。
詰まり音に関しては、もう半分あきらめてるので、割と適当で良くて、
せめて普通の音節だけでも綺麗に分けれれば良いのですが・・・
-sオプションはちょっと違いますし。そういうオプションはないのでしょうか？
最悪、予めカタカナの方を分割してしまってから、kakasiにかけようと思っていますが・・・
>>346
実質その３が昨日たってた
自然言語処理スレッド その２
http://pc11.2ch.net/test/read.cgi/tech/1227953574/
0351デフォルトの名無しさん
2008/12/01(月) 12:18:10sedか何かで、aiueoの後ろにスペースを入れればいいんじゃ？
0353デフォルトの名無しさん
2008/12/01(月) 14:35:46nが来た時注意だけどな
ンがnnならいいけど
nになってるやつだと、それだと判別不能だと思う。
0354デフォルトの名無しさん
2008/12/01(月) 14:40:40だと
ma ne n
か
ma n e n
かわからん。
KAKASIは、ンはnで吐き出す。
0355デフォルトの名無しさん
2008/12/06(土) 12:52:57形態素解析を行う。っていうアプローチはもう使われてないの？
昔は、n-gram統計でやってたと思うんだけど、最近辞書使うやつばっかで
そういうの聞かないんですけど。
0356デフォルトの名無しさん
2008/12/08(月) 04:03:05漢字変換の分割位置の決定に使われる事はある。
0357デフォルトの名無しさん
2008/12/08(月) 07:51:10HMMで全部回してたらオーダーかかるから HMMとかで辞書つくるだけ
0358デフォルトの名無しさん
2008/12/08(月) 08:23:490359デフォルトの名無しさん
2008/12/08(月) 14:29:360360デフォルトの名無しさん
2008/12/08(月) 16:49:310361デフォルトの名無しさん
2008/12/08(月) 18:38:480362デフォルトの名無しさん
2008/12/11(木) 02:25:46誤りを含んでるのはある意味当然。
モデルを辞書と読んじゃうから、話がおかしくなってる。
0363デフォルトの名無しさん
2009/01/23(金) 11:27:13順逆無二門 ×
大道徹心源 ×
五十五年夢 ◎
覚来帰一元 ×
と'五十五年夢'で検索した時だけヒットします。
これはこういうものなのでしょうか？
mecabの辞書に登録されていない単語では検索できない？
0364デフォルトの名無しさん
2009/01/23(金) 15:57:370365デフォルトの名無しさん
2009/01/31(土) 12:52:04下記のURLが死んでいます。
ttp://itadaki.org/wiki/index.php/GoSen
どこかで手に入れること出来ませんか？
0366デフォルトの名無しさん
2009/01/31(土) 12:55:060367デフォルトの名無しさん
2009/01/31(土) 20:20:39GoSen取得できました。
ありがとうございます。
0368デフォルトの名無しさん
2009/02/18(水) 21:09:250369デフォルトの名無しさん
2009/02/28(土) 19:36:41現在 NTT CS 研の持橋さんがそういう研究をやっている。
ttp://chasen.org/~daiti-m/diary/?200901c&to=200901280#200901280
源氏物語でもやっていたと思うけど、消しちゃったのかな？
たぶん↓の話がそれだと思うんだけど。
ttp://nl-ipsj.r.dl.itc.u-tokyo.ac.jp/NL190program.html
0370デフォルトの名無しさん
2009/02/28(土) 21:45:290371デフォルトの名無しさん
2009/03/01(日) 00:11:29逆に統計でない翻訳(ルールベース、用例ベース)
を探す方が難しいと思うが……
逆に販売されていたりサービスインされていたりする翻訳では
まだ統計翻訳は主流ではない。質がけっこうひどいので。
0372デフォルトの名無しさん
2009/03/10(火) 08:49:08解析結果がどうも変・・・
「太郎はこの本を二郎を見た女性に渡した。」を
解析すると、「二郎」が「二」と「郎」に分けられてしまいます。
Web上の見本を見る限りそうはならなさそうなのですが。
ほかに、「一人」も「一」と「人」に分けられてしまいます。
同じような症状の方いらっしゃいます？
原因・解決法等ご存じでしたら教えてください。
バージョンは：
mecab of 0.97
mecab-ipadic 2.7.0-20070801
0373デフォルトの名無しさん
2009/03/10(火) 17:51:35naist-jdicでもなった。
0374デフォルトの名無しさん
2009/03/10(火) 22:15:51ありがとう。
そうなのかぁ。
「一人」が分割されるのはまだ良いとして、「二郎」はショックだった。
0375デフォルトの名無しさん
2009/03/10(火) 23:38:20太郎 名詞,固有名詞,人名,名,*,*,太郎,タロウ,タロー
は 助詞,係助詞,*,*,*,*,は,ハ,ワ
この 連体詞,*,*,*,*,*,この,コノ,コノ
本 名詞,一般,*,*,*,*,本,ホン,ホン
を 助詞,格助詞,一般,*,*,*,を,ヲ,ヲ
二郎 名詞,固有名詞,一般,*,*,*,二郎,ニロウ,ニロー
を 助詞,格助詞,一般,*,*,*,を,ヲ,ヲ
見 動詞,自立,*,*,一段,連用形,見る,ミ,ミ
た 助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
女性 名詞,一般,*,*,*,*,女性,ジョセイ,ジョセイ
に 助詞,格助詞,一般,*,*,*,に,ニ,ニ
渡し 動詞,自立,*,*,五段・サ行,連用形,渡す,ワタシ,ワタシ
た 助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
。 記号,句点,*,*,*,*,。,。,。
EOS
一 名詞,数,*,*,*,*,一,イチ,イチ
人 名詞,接尾,助数詞,*,*,*,人,ニン,ニン
。 記号,句点,*,*,*,*,。,。,。
EOS
0376デフォルトの名無しさん
2009/03/11(水) 00:54:17EUC-JPのときとUTF-8のときで結果が微妙に違うことがあるね。
0377デフォルトの名無しさん
2009/03/11(水) 00:57:06だった気がする。で、エンコードによって違う、と。
メーリングリストで何回か話題になっていたような？
0378デフォルトの名無しさん
2009/03/11(水) 01:53:480379デフォルトの名無しさん
2009/03/11(水) 08:25:33書いている人の文体の特徴を特定するには
どのくらい文章量のサンプルが必要なのでしょうか？
また２ちゃんなどの短い文章の書き込みを当人がした場合にも
その特徴はデータとして露見しますか？
因みに私が知りたいブログの書き手は、有名な某連盟の会長さんです
どなたかお詳しい方がおりましたら、宜しくお願いします。
0380デフォルトの名無しさん
2009/03/11(水) 09:38:30どの程度の確度がいるんだ？
0381デフォルトの名無しさん
2009/03/11(水) 09:50:42抽出 ID:dJcsiq0u (3回)
781 名前：名無し名人[sage] 投稿日：2009/03/10(火) 14:25:09 ID:dJcsiq0u
中継の仕事に求められるモノが大きくなればなるほど、ネット中継は衰退する（できなくなる）と思うけどな。
仕事というのは、自分にだけできるというものではダメでしょう。継続していかない。
さらに現状のコメントは、控え室の棋士たちの善意のコメントに基づいているような状態だし。
したがって、今後は規格化され、記者やコメント棋士への報酬なども体系化され、
悪く言えば画一化されたネット中継になっていくことが予想される。
まあしかしそれが発展というものなのではないかなあ。反発はあると思うけども。
801 名前：781[sage] 投稿日：2009/03/10(火) 14:56:50 ID:dJcsiq0u
>>786
少し意味が違う気がする。
配信の知識、手の意図を解説する棋力、適切なコメント、キレイな写真。松本さんがすごいのは間違いない。
でも今後ネット中継をパッケージ化していく場合には、そういった良い部分も排除されてしまって、
誰でもある程度の品質が確保できるものになるのは仕方ないのではないか、という意味。
松本さんをないがしろにして良いという意味ではないからね。念のため。
816 名前：名無し名人[sage] 投稿日：2009/03/10(火) 15:21:34 ID:dJcsiq0u
>>800
現状のネット中継で、新聞社に旨みが少ないのは同意。
ソフトバンクとかがスポンサーになってくれるとネット中継もフルパワー出せるかもねえ。
>>812
あなたは上の方にいる「釣堀某」と同じ方？ずっといるけれど、何か訴えたいことでもあるの？
切ったり貼ったりもいいけれど、わかりやすくまとめてくれると話が早い。
0382デフォルトの名無しさん
2009/03/11(水) 09:52:57http://8154.teacup.com/yonenaga/bbs
これが本人のブログです
0383デフォルトの名無しさん
2009/03/11(水) 10:03:140384デフォルトの名無しさん
2009/03/11(水) 10:04:50ブログを見ていただくと分かると思うのですが、かなり特徴のある文体だと思うのですが。。。
現在マスコミは黙殺してますが、会長がある中継記者を
その地位を濫用して新聞各社に圧力をかけ強制的に排除したことが将棋板で祭り状態になってます
経緯はhttp://www23.atwiki.jp/yonemtmt/まとめサイトに
確度はあまりこの分野に明るくないので何とも言えないのです
0385デフォルトの名無しさん
2009/03/11(水) 10:06:25すみません
0386デフォルトの名無しさん
2009/03/11(水) 10:33:06警察の鑑定とかの専門家が「これは同一人物でしょう」とかやるのが関の山で、
数字で「85.2 % の確率で麦長が書いた文章です」とか機械的に出すなんてのは
不可能です。
あきらめて祭りに戻ってください。
# 麦長もいいかげん諦めろよなw
0387デフォルトの名無しさん
2009/03/11(水) 10:44:26そうですか。。。
でも麦長ってｗよくご存知で
お手数かけました
ありがとうございます
0388372
2009/03/11(水) 12:23:11ううむ。
そうなのか、と思って、EUCの辞書を使っても同じ結果になってしまいました。
その後いろいろ試してみると、下記のような結果になったので、
これは仕様ってことですかね。
この本を二郎を。
この 連体詞,*,*,*,*,*,この,コノ,コノ
本 名詞,一般,*,*,*,*,本,ホン,ホン
を 助詞,格助詞,一般,*,*,*,を,ヲ,ヲ
二 名詞,数,*,*,*,*,二,ニ,ニ
郎 名詞,一般,*,*,*,*,郎,ロウ,ロー
を 助詞,格助詞,一般,*,*,*,を,ヲ,ヲ
。 記号,句点,*,*,*,*,。,。,。
EOS
二郎を。
二郎 名詞,固有名詞,人名,名,*,*,二郎,ジロウ,ジロー
を 助詞,格助詞,一般,*,*,*,を,ヲ,ヲ
。 記号,句点,*,*,*,*,。,。,。
EOS
0389デフォルトの名無しさん
2009/03/11(水) 12:24:36375,356は>>375,376 の間違いでした。
0390デフォルトの名無しさん
2009/03/12(木) 17:42:48なら問題ないんだよね
0391デフォルトの名無しさん
2009/03/13(金) 07:15:54全然不思議じゃないと思うけど、両方出したければ N-best の結果
(-N オプション)出せばいいんじゃない？
0392デフォルトの名無しさん
2009/03/13(金) 08:19:44名詞,一般,*,*,*,*,
が並ぶ場合はプログラム側で膠着しているな。
その上で、辞書をひいてみて、ルールを適用。
0393デフォルトの名無しさん
2009/03/13(金) 08:51:18どうしても言い回しが思いつかなければ>>390みたいにするか。
ATOKが「をの連続」と注意してきたな。
0394デフォルトの名無しさん
2009/03/13(金) 15:18:390395デフォルトの名無しさん
2009/03/13(金) 19:41:53＞両方出したければ
正しい方だけが良い！！
0396デフォルトの名無しさん
2009/03/13(金) 19:49:18どんどん増やして辞書も肥大化させざるを得ないんだろうな。
そもそも人間の言語行動がそうだからな。
0397デフォルトの名無しさん
2009/03/14(土) 08:10:07あるんですかね? それとも単に >>377 ?
「二」「郎」と分ける場合はいわば二つの郎という解釈をしてるわけですよね?
英語みたいに、名詞に数えられるかどうかの属性を持たせるとか...
まあ、頑張って付けたところで今回みたいなケースでしか役に立たないかもしれないけどw
0398デフォルトの名無しさん
2009/03/14(土) 16:26:39文頭に来るかどうかのコストが違うか、同じで undefined になっている、
のどっちか、ってことじゃないの。
いずれにせよコストはコーパスから学習されているので、
コーパスに出てきていなかったら変な学習結果になるはずで、
数+一般は普通に出る表現だと思うけど、
「二郎」という表現が固有名詞でしかほとんど出現しない、という知識は、
「二郎」がコーパスの中に出現していてくれないと分からないわけで、
新聞記事に「二郎」はそんなに出てこないんじゃないかと。
0399デフォルトの名無しさん
2009/03/14(土) 19:58:470400デフォルトの名無しさん
2009/03/15(日) 14:07:500401デフォルトの名無しさん
2009/03/15(日) 23:02:44それは当たり前(名詞というか名詞の中でも特に固有名詞)で
そこには誰も反対していない。じゃあ二五四郎は？ ってことでは。
0402デフォルトの名無しさん
2009/03/16(月) 03:40:080403デフォルトの名無しさん
2009/03/16(月) 14:21:11呼称としての段位は十段までである、というルールを適用する事により、解析可能w
>>396
0404デフォルトの名無しさん
2009/03/16(月) 19:26:13学習しているんだと思うが。
囲碁は何級まであるか知っているか？
ヨーヨーに何段まであるか知っているか？
フェンシングは何級まであるか知っているか？
0405デフォルトの名無しさん
2009/03/16(月) 22:09:120406デフォルトの名無しさん
2009/03/16(月) 22:53:070407デフォルトの名無しさん
2009/03/17(火) 00:50:13人間だって、小説を読んで分からない単語や読みが出てくれば辞書を引いたり
人に聞いたりする。他者の会話（この場合のコーパス）からそれを類推する
ためには、会話以外の情報（例えば地名ならその土地でかわされている会話から
なら類推できる可能性が高い）が必要なわけで、(>>396)
>そんなルールをいちいち追加したくないからコーパスを使って
>学習しているんだと思うが。
なんてことを言い出す時点で、視点や立場が違うんじゃないかな。
0408デフォルトの名無しさん
2009/03/17(火) 07:51:45辞書にあっても重みつーか文脈依存な評価値が高くならないと
結局「センニヒャクサンジューキュウダン」になっちゃう。
で、その評価値の元データとしてコーパスを準備するわけだけれども、
自然言語の性質としてどんなに大量のコーパスを用意しても、
1-2回しか登場しない例外的な「正しい文脈」が出ちゃうから
同じ問題につき当たり続ける。
0409デフォルトの名無しさん
2009/03/17(火) 09:37:05「他者の会話」というのが(生)コーパスだと思うけど。
辞書に聞くといっても辞書にない単語だっていくらでもあるし、
そういうときは Web で検索するよね(今なら)。
それと同じことを(生)コーパスを用いてする、
というのは普通だし、JUMAN みたくルールを人手でハードコードするのは
限界がある(特定の分野に限定すれば可能)ので、
最近ルールのハードコードする人はほとんどいない、
というのが現状では？
0410デフォルトの名無しさん
2009/03/17(火) 22:24:290411デフォルトの名無しさん
2009/03/18(水) 08:06:570412デフォルトの名無しさん
2009/03/24(火) 21:24:15きっと続きがあるのだろう
0413デフォルトの名無しさん
2009/05/29(金) 18:57:05一般のレンタルサーバでの公開用に検索CGIを作っています(管理者権なし)
内容は、MeCabにより分かち書きしたデータをDBに用意->MySQLの全文検索(FULLTEXT)で検索、と考えています。
自宅の開発環境(Windows)では問題ないのですが、レンタルサーバには自分でMeCabをインストールできません。
Windows版の感覚ですと、辞書とモジュールをアップすればいけそうな気もするのですが、
UNIXでの情報をググっても、MeCab本体をインストールするケースしか見つかりません。
使用内容は、分かち書き済みのデータの検索をするため、フォームに入力された文字列を処理するだけなのですが
本体のインストールなしでMeCabを使用する方法ありますか？
0414デフォルトの名無しさん
2009/05/29(金) 22:49:210415デフォルトの名無しさん
2009/06/10(水) 20:22:58tar zxfv mecab-X.X.tar.gz
cd mecab-X.X
./configure
make
make check
ここまででlibmecab.so.*（番号）ができてるはず
（WindowsでのDLLはUNIX系ではShared Object）
使い方はWindowsと一緒
つかmecabは単一ソースだから環境あればWindows用もコンパイルできるはず（やったことないけど）
0416デフォルトの名無しさん
2009/11/22(日) 15:45:43出力する文字が化けます。
これはmecab側のバグなんでしょうか？
0417デフォルトの名無しさん
2009/11/23(月) 17:08:410418デフォルトの名無しさん
2009/12/12(土) 11:15:04言語？、情報？、全くの畑違いから仕事ではじめたの？
0419デフォルトの名無しさん
2009/12/12(土) 15:47:470420デフォルトの名無しさん
2009/12/12(土) 16:09:36自然言語処理は学部の授業で取った。
0421デフォルトの名無しさん
2009/12/12(土) 18:10:440422デフォルトの名無しさん
2010/04/10(土) 13:46:49今更ではあるけどWinとかで使ってて
辞書の文字コードSHIFT-JISにしてないからじゃないかね。
0423デフォルトの名無しさん
2010/04/26(月) 17:33:110424デフォルトの名無しさん
2010/05/31(月) 12:04:18http://pc12.2ch.net/test/read.cgi/tech/1235129481/
0425デフォルトの名無しさん
2010/07/07(水) 14:33:28libmecab.dllだけをアプリのフォルダにコピーして動かしても動くんだけど
ipdic辞書の場所は環境変数か何かに入ってるのかな？
辞書も一緒にアプリに組み込みたい場合はどうすれば？
0426デフォルトの名無しさん
2010/07/07(水) 14:46:41mecab_new2で指定するのね
0427デフォルトの名無しさん
2010/07/09(金) 08:04:06chasenよりmecabを使う人のほうが多い？
0428デフォルトの名無しさん
2010/07/09(金) 08:18:390429デフォルトの名無しさん
2010/07/09(金) 21:43:120430デフォルトの名無しさん
2010/07/09(金) 22:35:35普通にmecab使うわ
さんくす
0431名無しさん＠そうだ選挙に行こう
2010/07/10(土) 08:06:210432名無しさん＠そうだ選挙に行こう
2010/07/10(土) 09:53:090433デフォルトの名無しさん
2010/07/14(水) 12:07:21mecab使えばすぐできる？
0434デフォルトの名無しさん
2010/07/15(木) 01:44:25nodeには品詞情報としてそれが形容詞であるとか、名詞であるとかいろいろ値が入っているので
それらをチェックして個数を数えればすぐできる。
0435デフォルトの名無しさん
2010/07/15(木) 08:50:11形容詞に数えていいのか？
準体助詞の「の」は名詞に入れていいのか？
「最近は梅干のしょっぱいのが売ってない」
の「梅干のしょっぱいの」は「しょっぱい梅干」を
含意するがどうだ？
0436デフォルトの名無しさん
2010/07/15(木) 08:54:19準体助詞の「の」ではなくて
強意の終助詞「の」だとかいうのは
文脈追わないとムリなので、
目的が分かると判断しやすい。
0437デフォルトの名無しさん
2010/07/20(火) 15:36:175月頃に和訳でるって聞いたから待ってたけど、全然来ないから買おうと思うんだが
今までC++ばっかでpythonやってないんだけど、これとは別にpythonを勉強したほうがいいんだろうか
0438デフォルトの名無しさん
2010/07/20(火) 15:57:26文脈追わなくても使用頻度とマルコフ統計を取れば分かるでしょ
辞書ばりばりの形態素解析なんてもう時代遅れだよ
0439デフォルトの名無しさん
2010/07/20(火) 18:02:20最尤候補はわかる。
実際にどっちかはわからん。
0440デフォルトの名無しさん
2010/07/20(火) 18:11:34> もう時代遅れだよ
ジジイじゃあるめぇし、安心したがるなよ。
技術の話ってのは、ややこしくややこしくしてった方が、
最終的に得るものが多いんだぜ？
「燈下探索症候群」っつー言葉もあるわけで、
競合しそうな技術にはそれなりに目配りしとくもんだ。
0441デフォルトの名無しさん
2010/07/20(火) 18:27:46> 競合しそうな技術にはそれなりに目配りしとくもんだ。
これには同意。
たとえば、JUMANの結果のほうが使いやすい場合もある。
0442デフォルトの名無しさん
2010/07/20(火) 21:11:46全文検索だけが目的なら、マルコフ解析のような統計的手法だけで足りるかもしれないが、
談話理解や日英翻訳が目的なら、辞書による形態要素解析の技術は必須になる。
たぶん>>438は全文検索しか頭の浮かばない人で、若いとか年寄りとかいうよりも、
ちょっと可哀想な人なのだと思われる。
0443デフォルトの名無しさん
2010/07/20(火) 21:14:37そういうことはまともに翻訳出来る翻訳機を発明してから言ってよｗ
0444デフォルトの名無しさん
2010/07/20(火) 21:29:580445デフォルトの名無しさん
2010/07/20(火) 22:36:38> 新しい手法を知ると、ちょっとでも古い手法を
> 「時代遅れ」とか言いたがるのはむしろ若い人じゃないかな？
いやすまん、言葉が足りなかった。
若いクセに精神がジジイになっとる奴が、
「時代遅れ」とか言いたがるわけよ。
「昔はよかったが、今はもうダメだ」という
昔を生きてた人間と、
「今はいいが、昔はもうダメだ」という
今を生きてる人間というのは、
同じように精神的にジジイだっちゅーこと。
0446デフォルトの名無しさん
2010/09/17(金) 23:34:05終了
0447デフォルトの名無しさん
2010/09/17(金) 23:40:26いやちゃうちゃうちゃうんちゃう？
0448デフォルトの名無しさん
2010/09/18(土) 08:07:210449デフォルトの名無しさん
2010/09/18(土) 09:08:04__,‐"~~`‐、
.( (^|:: ● ●|-､
ヽ]::::.....● ..|^) )
....... |::::::....... [ノ
........... ~‐:::;;:::::‐"
0450デフォルトの名無しさん
2010/09/18(土) 09:44:450451デフォルトの名無しさん
2010/09/18(土) 13:30:020452デフォルトの名無しさん
2010/10/11(月) 19:11:23文節が同じなら文節に含まれる形態素列も完全に同じものになるんでしょうか？
0453デフォルトの名無しさん
2010/10/11(月) 19:21:32完全に同一な文章だよね？なんで違う形態素があると思えるの
0454デフォルトの名無しさん
2010/10/11(月) 19:55:15……いや、それでも無理があるか。
0455デフォルトの名無しさん
2010/11/05(金) 13:46:56今更誰も見ていないだろうけど・・・
その前後の文節によって、形態素解析が違ったものになる
ことはありうる。
0456天使 ◆uL5esZLBSE
2011/07/06(水) 04:39:52.21------------------
＜＜＜＜＜＜＜＜＜＜＜＜ 今更誰も見ていないだろうけど・・・ ＞＞＞＞＞＞＞＞＞＞＞＞(キリッッキリッッッ！キリ!!！！！！
----
＜＜＜＜＜＜＜＜ その前後の文節によって、形態素解析が違ったものになる ＞＞＞＞＞＞＞＞（キリッッ!!!!キリッッッ！キリッッッ!!!ッッ！！！
--(キリッ！キリッッッ!きリッッ
--
＜＜＜＜＜＜＜＜＜＜＜＜＜ ことはありうる。 ＞＞＞＞＞＞＞＞＞＞＞＞＞(キリ！！キリッッ!キリ！！！！キリッッ!!！！！
-------(キリッッ！
放射性廃棄物のほうがマシ
0457デフォルトの名無しさん
2011/07/29(金) 21:01:44.01どこも下火な感じなのかね
0458デフォルトの名無しさん
2011/07/30(土) 09:10:50.49機械可読にして知識ベース化とかはまだまだこれからだし、やることはあると思うね。
0459デフォルトの名無しさん
2011/08/10(水) 20:21:55.63東てる美の記事です。http://blog-imgs-16-origin.fc2.com/o/l/d/oldhonn/060911ee.jpg
前張りって一度付けてしまうと、それに慣れてしまうからそれを取って演技
することはちょっと恥ずかしいわネ！・・・・。
0460デフォルトの名無しさん
2011/08/10(水) 20:49:27.610461デフォルトの名無しさん
2011/11/28(月) 18:50:33.510462デフォルトの名無しさん
2011/12/02(金) 22:03:01.66大量にデータがあればできんの？
0463デフォルトの名無しさん
2011/12/03(土) 15:16:07.93ことは確かね。
0464デフォルトの名無しさん
2011/12/13(火) 23:35:16.69皆さんはC++、Perl、Python、Rなど言語は何を使っていますか？
また、最近ではどの言語が一番いいのでしょうか？
0465デフォルトの名無しさん
2011/12/14(水) 00:11:31.280466デフォルトの名無しさん
2011/12/14(水) 22:24:05.500467デフォルトの名無しさん
2011/12/14(水) 22:37:19.820468デフォルトの名無しさん
2011/12/22(木) 09:05:16.11使える引出しが多いといいこともあるよ
■ このスレッドは過去ログ倉庫に格納されています