自然言語処理スレッド その2
レス数が950を超えています。1000を超えると書き込みができなくなります。
0001デフォルトの名無しさん
2007/03/05(月) 23:34:47文章生成などの技術に関する理論と(おもに)実装を扱います。
あくまでアプリケーションプログラミングの技術的な面に重点をおきたいので、
学術的な話はアリですが、いわゆる人工無能や哲学的AI話、
言語学の話題などは他のスレッドでお願いします。
前スレ: 自然言語処理スレッド
http://pc11.2ch.net/test/read.cgi/tech/1011988273/l50
次スレは>>980
0002デフォルトの名無しさん
2007/03/05(月) 23:35:10形態素解析
- Juman: http://www-nagao.kuee.kyoto-u.ac.jp/nl-resource/juman.html
- ChaSen: http://chasen.aist-nara.ac.jp/
依存構造解析
- KNP: http://www-nagao.kuee.kyoto-u.ac.jp/nl-resource/knp.html
- CaboCha: http://www.chasen.org/~taku/software/cabocha/
Namazu
- namazu: http://www.namazu.org/
0003デフォルトの名無しさん
2007/03/06(火) 17:10:50お疲れー。
0004デフォルトの名無しさん
2007/03/06(火) 17:28:39理系全般板のスレ
★自然言語処理★
http://science6.2ch.net/test/read.cgi/rikei/1020397689/
0005デフォルトの名無しさん
2007/03/06(火) 17:48:49いつか自然言語を解するプログラム作りたいな。
文法を解する>>2みたいのがあるなら、C#とかで比較的簡単に作れそうだ。
0006デフォルトの名無しさん
2007/03/06(火) 21:11:080007デフォルトの名無しさん
2007/03/06(火) 22:33:0800086
2007/03/06(火) 23:30:16でも、Jumanを使いこなすだけでも、大変なことなのですよ。
私は以下の手順でプログラム開発をしています。
1..仕様をpdfファイルでもらう。(文章か表)
2..これをtxtに変換。(文字情報を抜き取る)
3..形態素解析。
4..格判断、後置詞、接続詞などの整理、並べ直し。
5..Prologの述語として整形する。
1から3までは作業を制御するのはPrologのプログラムです。
4,5もPrologが候補を出してきますが、相当に人間の判断が必要です。
3のJumanがやはり問題です。数に関する情報が上手く処理できません。
Jumanの出してくる候補はバラバラです。これを繋ぎ合わせる必要がある
のですが、一つの名詞として繋ぐのか、部分的に独立した数値として
扱うのか、私の能力ではうまくコード化出来ないケースが多々あります。
0010デフォルトの名無しさん
2007/03/07(水) 18:26:45たとえば「1足す2は3」と入れれば、「1」「足す」「2」「は」「3」と
ちゃんと区切られているように見えますが…。
0011デフォルトの名無しさん
2007/03/07(水) 19:00:56これをプログラムで第五世代に膠着し直すのは結構難しいのです。
0012デフォルトの名無しさん
2007/03/07(水) 19:14:31こういうのが出てきたら特殊な処理をして結合し、Jumanに名詞として辞書
登録してもらう必要がありそうだ。
0013デフォルトの名無しさん
2007/03/07(水) 19:18:18各単語同士の連続出現率を記憶しておいて、ある割合を超えたら1つの
単語だと認識してJumanに辞書登録を促す、とか…。(素人考え)
でもだとしたら、オラクルとかの大規模データベースを使って、各単語の
パラメータを記憶しておかないとダメですね。
難しいそう…。
0014デフォルトの名無しさん
2007/03/08(木) 10:20:56Prologのプログラムでは何のオプションも付けずにjumanを使います。
?- sh('echo "第五世代コンピュータ" | juman',X).
X = [['第','(だい)','第','名詞接頭辞'],
['五','(ご)','五','数詞'],
['世','(せい)','世','名詞性名詞助数'],
['代','(だい)','代','名詞性名詞接尾'],
['コンピュータ(こんぴゅーたコンピュー','普通名詞'],
['技術','(ぎじゅつ)','技術','普通名詞']].
Prologインタプリタのトップレベルから呼ぶとこんな感じになります。これを
形態素解析(_文,_形態素ならび) :- concat_atom(['echo "',_文,'" | juman'],S),
sh(S,X),再膠着(X,_形態素ならび).
再膠着([],[]) :- !.
再膠着([[A,_,_,名詞接頭辞],[B,_,_,数詞]|R1],[C|R2]) :- concat_atom([A,B],C),
,再膠着(R1,R2).
再膠着([[A,_,_,_]|R1],[A|R2]) :- 再膠着(R1,R2).
のようなプログラム(述語)を定義しておいて(再膠着と品詞等付加情報の除去を
同時に行っている好ましくない定義です)
..., 仕様読み取り(_受信文), ... ,形態素解析(_受信文,_形態素ならび), ...
のように呼びだして処理します。要するに「本当にこれで澄むのか!」の問題ですね。
001514の訂正
2007/03/08(木) 11:40:23それから concat_atom([A,B],C), の後改行してまたカンマがきていますが
これは間違いです。いりません。
0016デフォルトの名無しさん
2007/03/08(木) 13:06:04PROLOG言語ってPERL言語のような側面もあるのかな?
自然言語を解そうというのだから複雑なのは当然ですがこれは…
0017デフォルトの名無しさん
2007/03/08(木) 13:11:49これは関数ということでしょうか?
…PROLOG、面白そうなのでちょっと私も勉強してみます
0018デフォルトの名無しさん
2007/03/08(木) 14:17:33[a,b,c] = [a|[b,c]] であり、
[a,b,c] = [a|R] だとRは英数の大文字から始まっているので変数であり
R=[b,c] になります。
再膠着([[A,_,_,名詞接頭辞],[B,_,_,数詞]|R1],[C|R2]) の部分を解説すると
再膠着という関数は2引数の関数である。最初の要素(第一引数)は
リストの形式をしており、その第一番目の要素も
またリストである、 [A,_,_,名詞接頭辞]
さらに第二番目の要素もまたリストである。 [B,_,_,数詞]
第三番目以降もリストであってその部分は変数R1で表すこととしよう。
さて、
この第一引数のリストの第一番目の要素もリストなのだが、その第一番目の
要素はAという変数である。その四番目の要素は「名詞接頭辞」である。
同様に第二番目のリストの第一番目の要素はBという変数であり、
第四番目の要素は「数詞」である。
以下省略するがこんなことが宣言されている。
このようなパターンを持った情報が第一引数に与えられて、
述語、再膠着が呼びだされた時に限り、このルールが適用されて
バラバラになったA(実は第)とB(実は五)が再膠着されるのだ。
そういうことを述べている。
再膠着という関数(述語)は
第一引数がリストでその最初の要素もリストで
その四番目の要素に名詞接頭辞がきて、
かつ、
第一引数の二番目の要素のやはり四番目の要素が数詞の時は
0019ゴミが・・
2007/03/08(木) 14:20:400020デフォルトの名無しさん
2007/03/08(木) 19:04:04_, ._
( ゚ Д゚)
もともと難しいんだろうけど、その説明も難しい…
あと「prolog 再膠着」でググってもヒット件数0というのはどういうことでしょう?
レアモノですか?
0021デフォルトの名無しさん
2007/03/08(木) 19:31:59多分、私の造語だと思います。説明が難しいのは、一般にリストの場合
構造体ですから仕方ない。この場合などは
構造体のなかにさらに構造体があるというケースですから尚更です。
リストのような構造データを使わずに、スカラ型データ渡し
だけで書くのが理想ですが、
1..問題が要素の前後関係などに依存する場合(>>18がこれ)
2..集約問題(sum()など)
などはリストで処理せざるを得ないですね。ここでは説明は避けますが
Prologの泣き所です。
0022デフォルトの名無しさん
2007/03/08(木) 20:42:17Prologの話はこれくらいにします。最後に、Prologと自然言語処理との
間の以下のことに触れておくべきでしょう。
Prologが普及する初期に、自然言語処理向きの言語ということが
喧伝されました。実際はそれほどでもなかった。すぐに左再帰問題の
ような基本的な難題に直面しましたし、上でもちょっと触れましたが、
Prologで深いデータ構造を扱うとPrologの良さが生きてこないという
ことにも気づきました。プログラム言語の記述力にだけ目を奪われて、
対象としている世界とのギャップに対しても、あまりに楽観的でした。
実際この分野で成果がどんどん積み上がっていくということはあり
ませんでした。期待が大きいだけ失望も大きかったのかも知れません。
結果的にこのPrologへの過度の期待はこの言語の普及、実用への展開
にはマイナスに働きました。もっと強調するべき点は他にあったのです。
Prologと自然言語処理にはそんな少々不幸な歴史があります。
0023デフォルトの名無しさん
2007/03/08(木) 20:47:08「リストのような構造データ」と、「スカラ型データ渡し」は、
具体的な例を出すとすれば、どういう例を出せますか?
0024デフォルトの名無しさん
2007/03/08(木) 20:56:040025デフォルトの名無しさん
2007/03/08(木) 21:11:25年令(大島,32).
年令(尾崎,58).
年令(稲葉,55). というようなものでしょう。
この定義に対して、
?- 年令(X,58). と質問する。答えは X=尾崎 となり質問は真となります。
このようなフラットな構造のデータだけで構成されるプログラムを
Prologプログラマは夢見ます。この辺りはリレーショナルデータベースの
第三正規形などの議論をご存じの方にはわかりやすいかも知れません。
これに対して
sum([],0).
sum([A|R],X) :- sum(R,Y),X is A+Y.
と云う定義はリスト構造を引数に期待しています。
?- sum([32,58,55],X). これは X=146 となり質問は真となります。
Prologの多分最大の魅力は部分要素の簡単なパターンマッチだけで
プログラムの挙動が完全に読み取れるという点なのですが、そのためには
データ構造はフラットであるほどよい。リストでさえプログラムの明快さ
に欠けるという感覚があります。それから、
>>21でちょっと触れた 1..集約問題 とは、上の 年令( ) 定義に於いて、
このクラスの年令の合計を求めるプログラムをPrologでは上手く書けない
ということを云っています。武骨にやればもちろん書けますが。
0026デフォルトの名無しさん
2007/03/08(木) 21:15:410027デフォルトの名無しさん
2007/03/09(金) 14:42:31私のここまでの印象では、確かに自然言語処理らしき片鱗が見えるプログラム
を作ることができるとしても、それは日本語を部分的に解釈しているだけで
あって、たとえば知識を溜め込むとか、という部分にまで至らない感じがしま
す。
0028デフォルトの名無しさん
2007/03/09(金) 16:16:58でしょう。
自然言語処理の困難さに較べたら、プログラム言語の記述力の差など
小さい小さいということかも知れません。
0029デフォルトの名無しさん
2007/03/09(金) 17:17:48ただ以前、C++やC#のオブジェクト指向というパラダイムは自然言語処理
に適切かも知れないな、と勉強してたときに思った記憶があります。
たとえば
「私は人間です」
の「私」を「人間」という基本クラスから派生した派生クラスだとすると、
「私」=「人間」という真偽判定ができてしまうんですよね。
Prologにもオブジェクト指向という考え方はあるのでしょうか?
0030デフォルトの名無しさん
2007/03/09(金) 17:49:36「あの本は厚い」という仕様に対して、
厚い(本). がよいか
厚い(あの,本). か
厚い(あの本). が良いのかを即断する能力を磨くのがPrologプログラマです。
あの、や、本、や、厚い、は仕様を与えた人の内面には像があっても、
それには踏み込まずあくまで言語的なシンボルとしてのみ受取り、
これを述語として形式化して定義することにとどめます。
一方、オブジェクト指向プログラマは
「あの本」は「他の本」とは違うに相違ないなどと、意味に踏み込んだ、
解釈をいきなり始めようとする。オブジェクト指向プログラミングの本質は
差分プログラミングなので、どうしても立ち入って解釈をする習性が
身に付きます。これはPrologプログラマから見ると余計なことなのです。
ということで、Prologプログラマは全員が一度はオブジェクト指向Prologを
自作していると思いますが、全員がこれを捨ててしまっていると想像します。
ESPという大変立派なオブジェクト指向Prologがあったのですが、私も
含めてそのオブジェクトを生成して論理変数として述語の引数に持ち回る
仕様に陰で文句ばかり云っていました。
0031デフォルトの名無しさん
2007/03/09(金) 18:09:44ないかな。そこまで徹していることには敬意を表するが。
0032デフォルトの名無しさん
2007/03/09(金) 18:34:31オブジェクト指向Prologというのがよほど使い勝手が悪かったのでしょうか…。
オブジェクト指向は、どういう形式でプログラムをつくるか、ということですので
「あの本」などのようなデータの中身とは別じゃないかな、と思います。
「仕様を与えた人の内面」にしかない、
この記述が興味深いですね。
自然言語処理では、知識を蓄積した上で、相手の意図を予測するんでしょう
けど難しそうだw
0033デフォルトの名無しさん
2007/03/10(土) 04:00:54> あの、や、本、や、厚い、は仕様を与えた人の内面には像があっても、
> それには踏み込まずあくまで言語的なシンボルとしてのみ受取り、
> これを述語として形式化して定義することにとどめます。
私も Prolog のこういう部分は凄いと思う。
中身を本当に「一切」定義しないことに最初は驚いた。
「厚いってどういうこと?」ということを Prolog 自体が必要としないんだよね。
ちなみに、その定義をOOP風に表すなら、単に
本 . 厚い
この場合、厚いか否かの判断は「本」に任せるって形になるね。
本が厚いか訊いた質問者はそこまで踏み込むことはない。
(深入りすることはあるけど、それはOOPの理念からはちょっとズレると思う)
まぁ、Prolog と違って最終的には「本」か、もしくは
「本」が頼んだどこかのメソッドで具体的な判断がされるけど。
> 「あの本」は「他の本」とは違うに相違ないなどと
> 意味に踏み込んだ解釈をいきなり始めようとする。
それはOOPで意識しないけどなぁ。
OOPって良くも悪くも「たらい回し」が多くなるから
「本」自体も他から「この本ね」と渡されたものである場合が多い。
0034デフォルトの名無しさん
2007/03/10(土) 09:26:56私が書いてきたことは自然言語処理というより、自然言語プログラミング
ですね。この自然言語プログラミングの一番大事な処理は今のところ
人間がやってしまって、Prologに落としちゃいましょう、ということです。
そのスキルを磨いて、同時通訳くらい早く書けるようになったら、その時
にはその部分をPrologでエキスパートシステムとして記述すればよい。
そういう道筋の第一段として現在のPrologプログラミングがある。
0035デフォルトの名無しさん
2007/03/10(土) 09:48:24Prologである必要はありません。Prolog的なロジックをライブラリに
持つ、C++ あるいは Ruby のプログラムコードで構いません。なぜかと
いうと、その部分が機械処理された時点で人間の思考・論理とプログラムの
親和性という視点は必要なくなってしまうからです。
0036デフォルトの名無しさん
2007/03/11(日) 18:16:510037デフォルトの名無しさん
2007/03/11(日) 18:17:13ニュー速+の記事を要約して読めるサービスを作ってみました。
http://misaki.mine.nu/chradio/s.cgi
スレの投稿速度でランキングするのは2nnのマネです。
単純に重要度でソートしてるだけなので、
似たような書き込みを除外できてませんが、
スレッドの要約というのも面白いテーマと思います。
形態素解析はMeCabを使っています。
0038デフォルトの名無しさん
2007/03/11(日) 21:02:15・・・ってこれ要約じゃなくて単なる抽出じゃん。
相変わらず抽出と要約の区別ついてないやん。
前スレ 438-497戻って再確認汁
http://pc11.2ch.net/test/read.cgi/tech/1011988273/438-497
003937
2007/03/11(日) 22:11:53過去ログ読みました!
GoogleNewsがやってるような似たもののグルーピングはできてません。
確かに。抽出が正しいっす(ノД`)ノ
オーム社の「テキスト自動要約」を読んで作ってます。
頻出する重要単語をより多く含む文を抽出してます。
今後、似たものをまとめる方面をやってみようと思います。
それと因果関係としてレス同士の>>の関係も利用してみます
0040デフォルトの名無しさん
2007/03/12(月) 09:37:11煽り合いを楽しんでいるかのようだ…。
やさしく指摘して「あ、そうかスマソ」で終わらせりゃいいのに…。
0041デフォルトの名無しさん
2007/03/12(月) 12:57:53「Google検索結果の引用文は『要約』の一種だ」とか主張しちゃって
誤爆の嵐でまいったさあー
0042デフォルトの名無しさん
2007/03/12(月) 16:18:45つーかあそこで出てたような要約なんてできるのかな?
日本語を解して要点をまとめる機能が必要か…。
0043デフォルトの名無しさん
2007/03/12(月) 17:10:500044デフォルトの名無しさん
2007/03/12(月) 17:47:47文意を変えずに書き手の<<意図>>を抽出することだから、たんなる抽出と間違えやすいんじゃないのかな?
0045デフォルトの名無しさん
2007/03/12(月) 18:25:43という文章の意図は「AはDと同じ」
…こういうのを解釈して、なおかつ簡潔な文章に装飾するのが
ここで言う要約ってことでしょうか?
0046デフォルトの名無しさん
2007/03/12(月) 19:16:54そんなパクリページ作るくらいだったら
2NNに協力する方がええんじゃね?
0047素人
2007/03/12(月) 21:43:44左側のIDの意味ってなに?レスの番号とは違うようだし・・・点数とも関係なさげだし・・・
004837
2007/03/13(火) 01:09:232NNは2chビュアーが無いみたいですねえ。read.cgiに直接飛ばしてるし。
>>47
簡単に説明しますと、(ちょっと長いですごめんなさい)
スレ内で、たとえば1-100のレスから、まず単語の出現回数を数えます。
数の多いものが重要語となります。
つぎに、重要語を含む数をスコアにして、重要なレスから表示しています。
左側の番号は、レス番号ではなくて、いったん文章を単文にひらいた場合の
単文番号です。
レス番号の方が分かりやすいかもしれませんが、長文レスが重要になったときに
全体が長くなるので、こうしました。
http://misaki.mine.nu/blog/tf.cgi
同じ手法で要約だけやってるページも作ってるので参考にどうぞ。
チェックを入れると、やってることがわかります。
004937
2007/03/13(火) 01:21:22自己レスですが、
要約サイトはkakasiで形態素解析してますが、
2nnもどきはMeCab使ってます。
MeCabで工夫してるのは、品詞も使って見ました。
名詞が続くときは、名詞+名詞+名詞=名詞とまとめてます
これで未知の「国民投票法案」とかも抽出できました
あと、名詞+の+名詞=名詞もやってます。
その他、長文になってくると頻度が偏るのでlog10をとってみました。
0050素人
2007/03/13(火) 02:11:20この方法はtf-idfを用いた重要文の抽出で認識あってますでしょうか?
聞きかじりなので、tf-idfも詳しくわかっていない状態です。間違っていたらすみません。
0051デフォルトの名無しさん
2007/03/13(火) 09:35:44こういうのって何言語で作るの?
0052デフォルトの名無しさん
2007/03/13(火) 18:34:02005337
2007/03/14(水) 00:03:17>>51 perlで作ってます。
perlは遅いイメージがあると思いますが、ハッシュを使うと頻出語の調査は簡単に素早くできますよ
use MeCab;
use Encode;
my $m = new MeCab::Tagger("");
my %tf;#頻出語のハッシュ変数
sub TermFreq
{
my ($str) = @_;
my $n = $m->parseToNode($str);#形態素解析
while ($n = $n->{next}) {#次の形態素を取り出す
my $word = $n->{surface};#単語
$tf{$word}++;#単語のハッシュ変数の出現回数を1増やす
}
return sort{ $t{$b} <=> $t{$a} } ( keys %tf );#出現回数が多い順にソート
}
とりあえず1文字とか名詞以外は除外でもいいと思います。 実際は、複合語を扱えるようにしたりとか工夫が面白いです。
ベイズ推定によるニュース分類もやってますが、単語の出現回数も同じ手法で作ってます。
005437
2007/03/14(水) 00:09:32#名詞でかつ全角で2文字以上の場合だけ有効
use MeCab;
my $m = new MeCab::Tagger("");
my %tf;#頻出語のハッシュ変数
sub TermFreq
{
my ($str) = @_;
my $n = $m->parseToNode($str);#形態素解析
while ($n = $n->{next}) {#次の形態素を取り出す
my $word = $n->{surface};#単語そのもの
my $hinshi = (split( /,/, $n->{feature} ))[0];#品詞
if( ($hinshi eq "名詞") and (length( $word ) >=4) )
$tf{$word}++;#単語のハッシュ変数の出現回数を1増やす
}
}
return sort{ $t{$b} <=> $t{$a} } ( keys %tf );#出現回数が多い順にソート
}
005537
2007/03/14(水) 00:24:41現在、2250個の文で、発表が428回、東京が369回出現となってます
過去の統計データを使えば、
与えられた「未知の記事」が経済記事であるか?を推定する確率が求められます(・∀・)/
(経済以外の記事の出現回数を、非経済記事である確率に使ってます)
2250
発表,428
東京,369
市場,351
前日,289
ドル,284
株式市場,234
株価,221
東証,188
(改行が多いと怒られたので以下略)
0056デフォルトの名無しさん
2007/03/14(水) 09:19:13ちょっと遅いイメージがあるけど、いまどきのマシンなら問題ないだろうし、
すぐ変更できるし使い勝手はいいだろうね。
あと、しばらくみないうちに変わったのかな。
なんかnewとかあるし…クラスまである?
オブジェクト指向!?
変数名の$は相変わらずのようで…w
0057デフォルトの名無しさん
2007/03/14(水) 18:47:46どれだけ遅れてるんだよw
10年前のPerl5からずっとOO機構はあったよw
0058デフォルトの名無しさん
2007/03/14(水) 20:39:14005956
2007/03/14(水) 20:42:50せいぜい簡単な定期処理動かすのくらいだし…
(´・ω・`)ショボーン
0060デフォルトの名無しさん
2007/03/16(金) 18:40:23クラス設計する側がかなり疲れる仕様
0061デフォルトの名無しさん
2007/03/16(金) 18:54:32まぁ慣れの問題のような気がする。
PerlのOOは動的OOだから、
実経験で感覚掴まずに、
仕様だけ見て想像で設計しようとしたら、
まぁ大変だろうね
0062デフォルトの名無しさん
2007/03/16(金) 21:56:37自然言語処理とは何の関係もないが・・。
0063デフォルトの名無しさん
2007/03/16(金) 23:11:05http://www.hiragana-gateway.com/
ひらがなゲートウェイとは、指定したサイトの漢字を全てひらがなで表示させるコンテンツプロキシーです。
0064デフォルトの名無しさん
2007/03/16(金) 23:29:57表現と構造の次元の違いによるギャップだろ。
自然言語、プログラム言語は一次元的表現
データ構造、オブジェクト構造は二次元以上
etc.
ところで人間の頭の中にある概念空間は・・・いったい何次元だろうね?
0065デフォルトの名無しさん
2007/03/17(土) 14:04:50ttp://hotwired.goo.ne.jp/news/business/story/20020404103.html
ここで紹介されてる複数記事からの自動要約サイトだけど、
ttp://www.newsblaster.com/
ここで書かれてる文章が自動要約なのかな?
かなりまともな文章のように思える。
ただ、どの複数の記事を元にして要約してあるのか分からない。
もうひとつのNewsInEssenceは死んでるみたい。
ttp://www.newsinessence.com/
0066デフォルトの名無しさん
2007/03/22(木) 18:27:41操作員A「今日は天気が良いですね」 → COM「そうですか」
操作員A「今日は何月何日ですか?」 → COM「今日は3月22日です」
操作員B「今日の天気はどうでしょう?」 → COM「良いという話です」
…こんなの可能でしょうか?
0067デフォルトの名無しさん
2007/03/23(金) 03:55:270068デフォルトの名無しさん
2007/03/26(月) 08:28:39まめちしきな。
0069デフォルトの名無しさん
2007/03/26(月) 19:17:36まぢで!?
俺もお前も人工無脳だったのか…
誰が!?誰が俺を作ったんだ!?
0070デフォルトの名無しさん
2007/03/26(月) 20:16:25あの時、スキンの買い置きさえあれば・・・
0071デフォルトの名無しさん
2007/03/27(火) 19:02:42自然言語というか人工知能はRubyとかでこつこつ作るものじゃなくて、
単純なロジックを再帰的に呼び出して形とし、
ある時点ではじめて単語になり、ある時点でやっと文章になる・・・って感じだと思う。
非常に観念的だけど・・・
たぶん、フラクタル理論を勉強して応用したほうが早いんじゃないかと。
0072デフォルトの名無しさん
2007/03/27(火) 20:52:490073デフォルトの名無しさん
2007/03/27(火) 21:02:350074デフォルトの名無しさん
2007/03/28(水) 09:53:31単語はそれが名詞だろうと助詞だろうと動詞だろうとすべて同列なもので
ただ属性が違うだけ、という風に。
0075デフォルトの名無しさん
2007/03/29(木) 03:52:18結婚してセックルして、子供が出来て3年後ぐらいに証明できる。
0076デフォルトの名無しさん
2007/04/05(木) 13:01:22形態素解析ソフトを使わないで、
有る文書の中から重要な単語だけを抜き取る場合、
何か良い案はないでしょうか?
0077デフォルトの名無しさん
2007/04/07(土) 22:13:120078デフォルトの名無しさん
2007/04/08(日) 05:04:54形態素解析ソフトを使わないなら、少なくとも自力か他力で
単語の辞書を作る必要があるよ。他力がお勧め。
辞書が出来たら、文書の中に出てくる単語の出現頻度、出現確率などから
適当に重要さを計算すればいい。
一般には他の文書にはあまり出てこないけど、その文書にだけよく出てくる単語、
というのは重要にすればいい。
0079デフォルトの名無しさん
2007/04/11(水) 08:31:23「の」「が」「。」が多いだろうね
0080デフォルトの名無しさん
2007/04/11(水) 13:33:38最長一致法(最も長い単語を採用する)ではダメだろうか。
0081デフォルトの名無しさん
2007/04/11(水) 14:26:12助詞を省いて、名詞と動詞だけに限定すれば良いんじゃない?
0082デフォルトの名無しさん
2007/04/11(水) 14:33:350083デフォルトの名無しさん
2007/04/14(土) 09:57:28助詞を省いて名詞と動詞だけに限定できるの?
0084デフォルトの名無しさん
2007/04/14(土) 11:22:230085デフォルトの名無しさん
2007/04/14(土) 11:25:36これだから自作自演は・・・
0086デフォルトの名無しさん
2007/04/16(月) 14:55:220087デフォルトの名無しさん
2007/04/17(火) 22:02:43http://ufal.mff.cuni.cz/acl2007/
LRECと同じく、世界遺産の街で学会開催。
研究発表のため旅費を支給してもらい、ついでの
観光旅行は最高。
0088デフォルトの名無しさん
2007/04/17(火) 23:03:43オワタ
0089デフォルトの名無しさん
2007/04/18(水) 20:11:570090デフォルトの名無しさん
2007/04/19(木) 21:54:370091デフォルトの名無しさん
2007/04/20(金) 06:04:35ウィーンで2泊しても成田・プラハ
往復運賃は同じなので、ACLから2日早く
抜け出して、ウィーン観光をする。
ACLは開催期間が長いので、出張が延ばせ、
良い季節に観光旅行ができる最高の学会だ。
0092デフォルトの名無しさん
2007/04/21(土) 03:32:260093デフォルトの名無しさん
2007/04/22(日) 09:09:240094デフォルトの名無しさん
2007/04/22(日) 12:07:420095デフォルトの名無しさん
2007/04/23(月) 17:21:13全くの見当はずれかもしれないけど答えがないよりましだから、
「LISPで学ぶ認知心理学3 言語理解」
佐伯胖監修 田中穂積 元吉文男 山梨正明 共著 東京大学出版会
1983年7月初版 3311-12233-5149
0096デフォルトの名無しさん
2007/04/24(火) 08:38:00ちまたにあふれる画像処理本みたいなやつの
自然言語処理版は無いのかってことかと
0097デフォルトの名無しさん
2007/04/30(月) 08:55:50例えばです
今日は天気がいいから
外出しようかな
でも雨が降ったらいけないから
天気予報を見よう
こういう様に複数行に改行された日本語文章があります
2chのレスもそうです
今日は天気がいいから外出しようかな
でも雨が降ったらいけないから天気予報を見よう
これを一文完結してるようにつなげたいのだけどどうしたらいいんでしょう?
0098デフォルトの名無しさん
2007/04/30(月) 09:04:133文字、4…と
区切っていき、その文字が
文末に来る文字(辞書から検索する)なら
改行する。
とかは?
0099デフォルトの名無しさん
2007/04/30(月) 17:15:49きちんとやるなら、真面目に形態素解析するしかなかろう。
尤も句点がないと完璧な判断は無理だけどね。
簡易な方法でいいなら、「文末らしい」語の辞書を持っておいて行末をチェックすればいい
0100デフォルトの名無しさん
2007/04/30(月) 19:16:28簡易すぎ。
せめて次の行の頭が続きそうかどうかは見た方がいい。
0101デフォルトの名無しさん
2007/05/01(火) 08:41:16外出しようかな。
でも雨が降ったらいけないから。
天気予報を見よう。
どの文も句点で終わる可能性があるよな
0102デフォルトの名無しさん
2007/05/01(火) 08:56:20「続き<そう>」これってマルコフ連鎖とかで確立的に決めちゃう方式ってこと?
0103デフォルトの名無しさん
2007/05/01(火) 10:19:01接続語でチェックすればいいんじゃね?
「から」は文頭に来ることはなさそう.
「でも」は文末に来ることはなさそう.
0104デフォルトの名無しさん
2007/05/03(木) 07:23:18あーそれ読んだことある!
確かに「LISPを」勉強するときはそのシリーズいいね。
0105デフォルトの名無しさん
2007/05/06(日) 23:07:130106デフォルトの名無しさん
2007/05/06(日) 23:10:050107デフォルトの名無しさん
2007/05/06(日) 23:27:08田中穂積著 自然言語処理―基礎と応用
0108デフォルトの名無しさん
2007/05/06(日) 23:44:31最近新しい教科書出ないよな
0109デフォルトの名無しさん
2007/05/07(月) 07:41:55FSNLPってよく推薦されてるけど、そんなにいいか?
あんまり好きじゃないんだけど。
0110デフォルトの名無しさん
2007/05/07(月) 09:06:410111デフォルトの名無しさん
2007/05/07(月) 11:31:02どっかの研究室で訳してくれないかな
奈良先あたりでさー
0112デフォルトの名無しさん
2007/05/07(月) 20:04:41http://www.amazon.co.jp/dp/4130654047
ちょっと薄いけどこれじゃだめか?
0113デフォルトの名無しさん
2007/05/08(火) 00:06:01一口に自然言語処理と言っても形態素解析や係り受け解析のような基礎技術から
テキストマイニングとかのアプリケーションまで幅が広すぎる。
おまけに今は機械学習の各手法を知らないと論文も読めないし、なかなか大変。
研究するって訳じゃなければそんな真剣に考えなくてもいいか。結局何が目的にかによるな。
しかし、新しめトピックもカバーしたライトで実用寄りの入門書は存在しないというのが実情では
ないだろうか。
0114デフォルトの名無しさん
2007/05/08(火) 06:32:02新しくてライトで実用的って無理じゃね?
「SVMという魔法のツールがあります」から始めるのか?
0115デフォルトの名無しさん
2007/05/09(水) 07:50:37甘利タンの情報幾何学まで引っ張り出さないとダメ
0116デフォルトの名無しさん
2007/05/09(水) 09:02:270117デフォルトの名無しさん
2007/05/10(木) 00:08:060118デフォルトの名無しさん
2007/05/10(木) 05:15:000119デフォルトの名無しさん
2007/05/10(木) 07:50:33画像処理をやっている研究室より数が少ないよね?
0120デフォルトの名無しさん
2007/05/10(木) 07:53:46日本オワタ
0121デフォルトの名無しさん
2007/05/10(木) 08:36:52終わんねーだろ・・・
常識的に考えて・・・
0122デフォルトの名無しさん
2007/05/10(木) 10:55:180123デフォルトの名無しさん
2007/05/10(木) 11:49:070124デフォルトの名無しさん
2007/05/10(木) 12:53:440125デフォルトの名無しさん
2007/05/10(木) 15:38:070126デフォルトの名無しさん
2007/05/10(木) 19:45:550127デフォルトの名無しさん
2007/05/10(木) 19:55:06(文科系?)言語学者はチョムスキー
の他は誰?
0128デフォルトの名無しさん
2007/05/10(木) 20:02:360129デフォルトの名無しさん
2007/05/10(木) 21:56:220130デフォルトの名無しさん
2007/05/12(土) 07:12:080131デフォルトの名無しさん
2007/05/12(土) 08:15:590132デフォルトの名無しさん
2007/05/19(土) 13:34:510133デフォルトの名無しさん
2007/05/19(土) 14:09:120134デフォルトの名無しさん
2007/05/19(土) 14:16:410135デフォルトの名無しさん
2007/05/19(土) 14:38:260136デフォルトの名無しさん
2007/05/19(土) 15:59:57そんな短時間で何が習得できるってんだ。
0137デフォルトの名無しさん
2007/05/19(土) 16:03:14どこ?
うちの院(マスター)は過去五年間の就職実績で関連した企業なんて、
ヤフー、ジャストシステムくらいだよ
0138デフォルトの名無しさん
2007/05/19(土) 16:04:180139デフォルトの名無しさん
2007/05/19(土) 16:20:43この辺は、院卒前提でしょ。
0140デフォルトの名無しさん
2007/05/19(土) 16:26:41院卒前提だろうな
0141デフォルトの名無しさん
2007/05/19(土) 17:20:44ただのSIかと思ってた
0142デフォルトの名無しさん
2007/05/19(土) 19:39:06音声や自然言語をやってた学生には来てほしいよ
でも、いっつも、ぜんぜん違うことやってた学生ばっか来るんだよね
0143デフォルトの名無しさん
2007/05/19(土) 19:42:310144デフォルトの名無しさん
2007/05/19(土) 19:53:39いい勘してる
0145デフォルトの名無しさん
2007/05/19(土) 21:46:580146デフォルトの名無しさん
2007/05/19(土) 22:33:490147デフォルトの名無しさん
2007/05/19(土) 23:13:38まぁ行くのは来年度の事だけど
0148デフォルトの名無しさん
2007/05/19(土) 23:14:500149デフォルトの名無しさん
2007/05/20(日) 19:55:01完全に知識0からなので、これらがどう有用なのか、とか、どういう研究に使われてるかなどもわかれば嬉しいのですが・・・。
0150デフォルトの名無しさん
2007/05/20(日) 21:04:210151デフォルトの名無しさん
2007/05/20(日) 22:30:37関西、特に奈良、京都ばっかじゃん
0152デフォルトの名無しさん
2007/05/20(日) 22:32:59研究室 特定すなww
0153デフォルトの名無しさん
2007/05/20(日) 23:59:360154デフォルトの名無しさん
2007/05/21(月) 00:46:390155デフォルトの名無しさん
2007/05/21(月) 01:06:30そういうあんたも業界人?
0156デフォルトの名無しさん
2007/05/21(月) 01:40:250157デフォルトの名無しさん
2007/05/21(月) 01:51:54関西人ばかりだということが丸わかりのスレだなwww
>>149
簡単な知識だからgoogle先生で十分
厳密さを求めるなら元論文で
0158デフォルトの名無しさん
2007/05/21(月) 02:06:430159デフォルトの名無しさん
2007/05/21(月) 02:44:33予算がなかなか下りなかったって歴史的時代背景じゃね?
で、たまたま、やってた数少ないところが、京大だったって話かと。
奈良先端だって、比較的若い大学院大学っしょ
0160デフォルトの名無しさん
2007/05/21(月) 06:46:270161デフォルトの名無しさん
2007/05/21(月) 23:55:490162デフォルトの名無しさん
2007/05/22(火) 00:06:110163デフォルトの名無しさん
2007/05/22(火) 00:25:17関東勢はどうも弱いよな。
0164デフォルトの名無しさん
2007/05/22(火) 00:46:250165デフォルトの名無しさん
2007/05/22(火) 11:09:55元をたどればN尾先生の弟子だったり孫弟子だっり。
0166デフォルトの名無しさん
2007/05/22(火) 11:28:030167デフォルトの名無しさん
2007/05/22(火) 12:36:190168デフォルトの名無しさん
2007/05/22(火) 17:54:15http://academy6.2ch.net/test/read.cgi/english/1015691364/l50
向こう100年はできないと思ってるらしいぞ
0169デフォルトの名無しさん
2007/05/22(火) 18:10:22より上質な翻訳が出来る翻訳家以外あぼーんだな
0170デフォルトの名無しさん
2007/05/22(火) 20:05:45もう破綻した手法だが、だからと言って別の手段だと誤訳率が上がるんだよなぁ。
0171デフォルトの名無しさん
2007/05/22(火) 20:13:400172デフォルトの名無しさん
2007/05/22(火) 20:58:170173デフォルトの名無しさん
2007/05/22(火) 21:12:390174デフォルトの名無しさん
2007/05/22(火) 21:21:32>英語はほとんどが比喩表現
そこで、G. Lakoffが登場し、UC Berkeleyの自然言語
処理グループとの共同研究で巨額なNSF資金を獲得する。
0175デフォルトの名無しさん
2007/05/22(火) 21:23:320176デフォルトの名無しさん
2007/05/22(火) 22:02:03どうあがいても学術機関では敵わない。
小さなコーパスで何か画期的な事が出来るようなモデルを考えるとかじゃない限りな。
0177デフォルトの名無しさん
2007/05/23(水) 06:11:120178デフォルトの名無しさん
2007/05/23(水) 22:16:500179デフォルトの名無しさん
2007/05/23(水) 22:18:14頭がよければモアベター
0180デフォルトの名無しさん
2007/05/23(水) 22:19:280181デフォルトの名無しさん
2007/05/25(金) 17:00:46日本の自動翻訳もここまできた!
0182デフォルトの名無しさん
2007/05/25(金) 20:50:270183デフォルトの名無しさん
2007/05/25(金) 21:04:15>Yahoo翻訳の方がいいな
私もそう感じます。理由をご存知の方はいらっしゃいますか?
0184デフォルトの名無しさん
2007/05/25(金) 21:21:070185デフォルトの名無しさん
2007/05/25(金) 21:28:27googleのこの辺を読んでみると、
googleはパラレルコーパスで統計的に処理してるっぽい
日:おはようございます.
英:Good morning.
独:Guten tag.
みたいに各言語の対訳を大量に作ってるのかいな?
0186デフォルトの名無しさん
2007/05/26(土) 02:27:55Yahooはなぁ、"ぬるぽ"を翻訳したら「ガッ」になった事があって嗤ったっけ
0187デフォルトの名無しさん
2007/05/26(土) 11:15:35google翻訳
→I so feel. As for the person who knows the reason it is and others the [tsu] plain gauze is?
yahoo翻訳
→I feel so it, too. Does a person knowing a reason come?
googleはしっかりしろ
検索ボットやgmailやgoogle docでテキストを只で手に入れてんだからさー
0188デフォルトの名無しさん
2007/05/26(土) 15:34:45I think so too, Does anyone know the reason?
とか、もっと自然に訳してくれるソフトはないの?
Webの無料翻訳じゃなくて、富士通のAtlasとかでも全然だめなのかな。
0189デフォルトの名無しさん
2007/05/26(土) 17:04:07http://news22.2ch.net/test/read.cgi/newsplus/1180156670/1
http://news22.2ch.net/test/read.cgi/newsplus/1180156670/2 ←
【愛知・発砲立てこもり】解決まで約29時間…「いつまで作戦考えていたのか」「仲間を長時間放置したことは許せない」 県警内からも批判の声
http://news22.2ch.net/test/read.cgi/newsplus/1180154539/1
http://news22.2ch.net/test/read.cgi/newsplus/1180154539/3 ←
その他大量多数。
語句の並び替えて文意をめちゃくちゃにするだけで、
つ ま ら な い し 、う ざ い か ら や め ろ よ
形態素解析覚えたての馬鹿のしわざだろう?
馬鹿ほど使って見せたがるからな。
あと君、著作権法第20条同一性保持権違反だから。
著作権法
(同一性保持権)
第20条
著作者は、その著作物及びその題号の同一性を保持する権利を有し、
その意に反してこれらの変更、切除その他の改変を受けないものとする。
0190デフォルトの名無しさん
2007/05/26(土) 17:15:39テキストがあったって意味が分からないと知識にはならんがな。
0191デフォルトの名無しさん
2007/05/26(土) 18:10:380192デフォルトの名無しさん
2007/05/26(土) 20:50:41結局、機械翻訳っつーのはコーパスをガシガシ整備しさえすりゃいいんでしょ?
ほら、同音多義語なんかは今風にタグでジャンル別に分類すればいいわけだし。
なんかそんな難しい分野じゃない気がしてきた
0193デフォルトの名無しさん
2007/05/26(土) 20:55:060194デフォルトの名無しさん
2007/05/26(土) 21:06:380195気まぐれアナスイ
2007/05/26(土) 21:11:040196デフォルトの名無しさん
2007/05/26(土) 21:55:55オープンソース思想家は去れ。
オープンソース厨と罵倒するのは簡単だ。
0197デフォルトの名無しさん
2007/05/26(土) 23:33:48でしょうか? EDR関係者が邪魔をしているの
でしょうか?
0198デフォルトの名無しさん
2007/05/27(日) 01:20:56自分とこの研究室で研究させて論文生産して
院生をATRとかNICTあたりに突っ込んで
また自分とこの研究室と一緒に研究させて論文生産して
0199デフォルトの名無しさん
2007/05/27(日) 20:00:160200デフォルトの名無しさん
2007/05/27(日) 20:02:510201デフォルトの名無しさん
2007/05/27(日) 20:05:16このスレは、NISTと京大と鳥取と、ATR、NICTの提供でお送りしました。
ここム板だから、あんまり内輪すぎる話をするのもどうかと
0202デフォルトの名無しさん
2007/05/27(日) 20:39:590203デフォルトの名無しさん
2007/05/27(日) 20:44:010204デフォルトの名無しさん
2007/05/27(日) 21:07:140205デフォルトの名無しさん
2007/05/27(日) 22:57:590206デフォルトの名無しさん
2007/05/28(月) 02:18:19名前が似てるだけでNAISTの姉妹っぽい扱いされてるのが気に入らん。全然格が違うのに。
まるで電気通信大学と、大阪電気通信大学みたいだ。
0207デフォルトの名無しさん
2007/05/28(月) 02:22:56既に部外者が入り込める雰囲気じゃねぇwww
いくら業界狭しといえど、ちょっと狭すぎないか
という俺は、ここに名前すら挙がってない大学の自然言語処理の研究室の人間だけどな・・・orz
>>206
大学院大学に入学資格に関して格差なんてあんの?
学部と違って、大学院に関しては好きな所に入れるイメージあるんだけど。
担当教官とさえ話が合えば・・・
0208デフォルトの名無しさん
2007/05/28(月) 02:55:350209デフォルトの名無しさん
2007/05/28(月) 03:45:04どっちも同じだろw
誰でも入れる院に変なプライド持つなよ
0210デフォルトの名無しさん
2007/05/28(月) 10:34:540211デフォルトの名無しさん
2007/05/28(月) 20:32:28【言語】国立国語研究所、1,000万語分の日本語コーパスを試験公開
http://news22.2ch.net/test/read.cgi/newsplus/1180351757/
0212デフォルトの名無しさん
2007/05/30(水) 00:42:54その文書が英日独仏西伊のどの言語
かを判断するツール/モジュール/
ライブラリを探しています。できれば
perlで使えるものが良いですが、何か
ございますか?
0213デフォルトの名無しさん
2007/05/30(水) 00:46:090214デフォルトの名無しさん
2007/05/30(水) 12:13:560215デフォルトの名無しさん
2007/05/31(木) 20:58:070216デフォルトの名無しさん
2007/06/03(日) 20:22:13いたらインスト情報プリーズ。
なんか動かんorz
API周りの変更が原因っぽいが。
0217デフォルトの名無しさん
2007/06/04(月) 01:11:41ノーベル賞とか、取ろうと思えば取れるような分野なの?
過去に受賞した人とか居るのかな?
チョムスキーが提唱したような、人間の脳による、正確な生成文法をキチンと科学的に解明出来れば、取れそうなもんだが
ぶっちゃけ、それもう自然言語処理の分野から外れてるような。
いやぁ、今高校2年なんだが、将来どんな分野に行くか考えてる時期で、自然言語処理に興味あるんだけど
どうせなら、ノーベル賞くらいと思ってねwww
恥ずかしい夢物語だけどw
0218デフォルトの名無しさん
2007/06/04(月) 01:24:10自然言語処理なら、ノーベル賞よか、チューリング賞じゃないか?
0219デフォルトの名無しさん
2007/06/04(月) 11:29:580220デフォルトの名無しさん
2007/06/04(月) 22:08:280221デフォルトの名無しさん
2007/06/04(月) 22:24:190222デフォルトの名無しさん
2007/06/05(火) 02:47:37日本人じゃあまだ誰も出てないだろ?
個人的にCPU開発者の嶋正利とか、TRONの坂村健とか、ちょっと格が落ちるがRubyのまつともとかは、
とってもいいくらいだと思うんだがな。
ACM会員じゃないとかがやっぱでかいんだろうか、それともアメリカの日本のコンピュータ封じか?
アジアだと、中国人が受賞してたっけ。
0223デフォルトの名無しさん
2007/06/05(火) 16:48:520224デフォルトの名無しさん
2007/06/05(火) 17:43:560225デフォルトの名無しさん
2007/06/05(火) 18:34:10行ってくるわ
0226デフォルトの名無しさん
2007/06/05(火) 21:34:35>誰かチューリング賞く
同性愛者以外は対象外?
0227デフォルトの名無しさん
2007/06/05(火) 23:05:380228デフォルトの名無しさん
2007/06/06(水) 00:38:33スレチな流れですね。
0229デフォルトの名無しさん
2007/06/06(水) 08:31:01つい数ヶ月前に亡くなられたのか。 黙祷。
0230デフォルトの名無しさん
2007/06/06(水) 15:00:06俺はできたけど、どこで詰まるの?
0231デフォルトの名無しさん
2007/06/06(水) 15:23:540232デフォルトの名無しさん
2007/06/06(水) 16:23:50mecab0.8系?
自前辞書がコンパイルできなかったから、senに戻したよ。
もうmecab-javaにしたい。
0233デフォルトの名無しさん
2007/06/06(水) 19:43:27長尾タン?
工藤ちゃん?
たつを?
0234デフォルトの名無しさん
2007/06/06(水) 20:15:450235デフォルトの名無しさん
2007/06/06(水) 21:34:560236デフォルトの名無しさん
2007/06/06(水) 21:36:450237デフォルトの名無しさん
2007/06/06(水) 21:57:11本人乙
0238デフォルトの名無しさん
2007/06/06(水) 23:14:160239デフォルトの名無しさん
2007/06/11(月) 16:08:090240デフォルトの名無しさん
2007/06/11(月) 20:02:390241デフォルトの名無しさん
2007/06/15(金) 15:29:400242デフォルトの名無しさん
2007/06/19(火) 06:47:41スゲиシ┐ゝ,ザァ,ユЮ.
θイ,ゎモモモモマいデ.
びデた,ゝС,さーモモモモデゝねг
↑を中国語→日本語翻訳してみると・・・・
http://www.excite.co.jp/world/chinese/
こういうのってわざとやってるの?
それとも偶然なの?
0243デフォルトの名無しさん
2007/06/19(火) 17:23:02して乳をむさぼって、ただぱんぱんぱんぱん穴の中で犯すのがあま
りに犯します凶悪で、妹は身ごもって、今しようがなくぱんぱんぱんぱん妹の友達を犯して我慢します
偶然というより
中国語の文字コード見れば氷解するんじゃないかな
0244デフォルトの名無しさん
2007/06/19(火) 20:50:430245デフォルトの名無しさん
2007/06/19(火) 21:22:310246デフォルトの名無しさん
2007/06/19(火) 21:25:39どこの学会は忘れたが…。
0247デフォルトの名無しさん
2007/06/19(火) 22:03:500248デフォルトの名無しさん
2007/06/25(月) 20:04:39Makefileが入ってないのは仕様ですか?
0249デフォルトの名無しさん
2007/06/26(火) 10:03:440250デフォルトの名無しさん
2007/06/26(火) 12:44:52int [] [] Ma=new int[Machine+1][K+1];
int [] forbid=new int [Job+1];
int [] penal=new int [Job+1];
int Obj=0;
for(int i=1;i<=Job;i++){
int mindue=10000;
int assignJob=0;
for(int i2=1;i2<=Job;i2++){
if(mindue>(duedate[i2]+forbid[i2])){
mindue=duedate[i2]+forbid[i2];
assignJob=i2;
}
}
0251デフォルトの名無しさん
2007/06/28(木) 12:12:182chでは特にそういうの(類似表現)多そうですが
助詞が入っていないとか間違ってるとか、
語尾や言い回しが微妙に違うとか、
主語、目的語が違うとか
これとこれとこれと....これが類似してる と示せます
そして、その「これ」が、先に与えられているわけではない、というやつです。
※エントリとエントリの類似度を測るのではないです。
任意のエントリ中の任意の部分文字列と
任意のエントリ中の任意の部分文字列との中から
(つまり可能な全ての部分文字列の組)
そういうのを全部見つけ出す方法考えたんですが
その、評価方法を知らないでしょうか?
見つけ出す方法は大体できてるんですが、
それがこんなに有効なんですよと、示すための(他の手法との)比較方法がわかりません。(そんな研究が存在しているのかどうか)
0252デフォルトの名無しさん
2007/06/28(木) 12:16:50kwsk
0253デフォルトの名無しさん
2007/06/28(木) 15:03:330254デフォルトの名無しさん
2007/06/28(木) 16:53:14コーパスの例は適当です。
�@東京・臨海地区に新しく開設される警察署の名称が「東京湾岸署」となる可能性がでてきました。まだ正式決定ではないですが、
別に踊る大捜査線を意識したものではないのだそうです。.....
�A警視庁が来年3月に臨海地区に開署予定の警察署の名称に「東京湾岸署」とする条例改正案を提出する方針らしい。
踊る大捜査線を意識してないと発表してるけど、.....
�B「東京湾岸署」新設へ 「踊る大捜査線」意識せず
臨海副都心に新設される警察署の名称が「東京湾岸署」に決まった。......
�@ [臨海地区に新しく開設される警察署の名称が「東京湾岸署」]
�A [臨海地区に開署予定の警察署の名称に「東京湾岸署」]
�B [臨海副都心に新設される警察署の名称が「東京湾岸署」]
が、それぞれ 似ている �T
�@ [踊る大捜査線を意識した]
�A [踊る大捜査線を意識して]
�B [踊る大捜査線」意識せず]
が、それぞれ 似ている。�U
というように、(厳密一致ではなく)似てると思う部分を(線形時間ぐらいで)列挙するもちろん、�@�A�Bは便宜上書いているだけで、このように文書が分かれていなくても
類似検索などでは 「踊る大捜査線を意識」というようなクエリーを与えられてから�Uを返せばよいが、
そうではなく、コーパスを読み込んだときに、こういう類似パターンを「先に全て」列挙する(人間が気づいていない類似パターンがあるかもしれない)
0255デフォルトの名無しさん
2007/06/28(木) 17:54:140256デフォルトの名無しさん
2007/06/28(木) 19:42:17遺伝子の配列アラインメント問題関連で調査すると良いかもしれないです
0257デフォルトの名無しさん
2007/06/29(金) 00:46:450258デフォルトの名無しさん
2007/07/03(火) 12:30:050259おねたん
2007/07/04(水) 21:36:59SVMに拘る意味が不明だと思った。知ってる言葉並べただけ?
0260デフォルトの名無しさん
2007/07/06(金) 06:04:01ハイパーパラメータが少ないし、libsvmなど出来合いのツールで手っ取り早くできるからじゃない?
0261デフォルトの名無しさん
2007/07/06(金) 07:16:25インデックスを作る時間を考慮しなければ最大でも線形時間ですむ
0262デフォルトの名無しさん
2007/07/06(金) 10:32:13つまんなくなったな
カーネル法の奥は深いけどさ
0263デフォルトの名無しさん
2007/07/06(金) 14:42:470264デフォルトの名無しさん
2007/07/06(金) 16:53:400265デフォルトの名無しさん
2007/07/07(土) 10:33:320266デフォルトの名無しさん
2007/07/07(土) 11:04:450267デフォルトの名無しさん
2007/07/07(土) 19:47:06エスペラントでは単語の後に品詞を示す接尾語がついていて,
少なくとも品詞解析のレベルまでは曖昧性なしで行けると思うんだけど,
こういう,ある程度文法が整理された人工言語をコンピュータで解析している研究とか知ってる人がいたら教えてください.
エスペラントとかを話す人はかなり少ないけど,
コンピュータによる理解が容易であるなら普及にもつながるはず…と思うんだがそこら辺はどう思う?
たとえば,ある言語Xから英語や中国語へ正確な翻訳ができるなら,Xを勉強するコストを支払うか,という質問.
0268デフォルトの名無しさん
2007/07/07(土) 20:33:51プラハ
0269デフォルトの名無しさん
2007/07/07(土) 20:51:340270デフォルトの名無しさん
2007/07/07(土) 22:16:19エスペラント語から英語や中国語へ翻訳ができても、逆ができないなら、魅力はほぼないと思う。
こっちから何か伝えることはできても、相手の言ってることはわからないんじゃ、英語でも覚えるほうがマシ。
逆に、エスペラント語と英語や中国語との間で相互に正確な翻訳ができるなら、当然エスペラント語経由で英中・中英の正確な翻訳ができる。
この場合、エスペラント語はコンピュータが理解してれば充分で、人間は覚える必要がない。
…ってことで、その路線でも普及しないと思うよ、エスペラント語。
0271デフォルトの名無しさん
2007/07/08(日) 00:18:45でも誰かに読ませるためにHTMLとかを覚える人は沢山いるでしょ.
インターネット上で何か発信したいと思ったらその言語で書けば主要な言語に翻訳されるわけだから,
読む方にとってみれば相当の省力化になると思う.
書く方にしても,マニュアルとか書く人にしてみたら一つ書けば多言語のマニュアルができあがるわけだし.
0272デフォルトの名無しさん
2007/07/08(日) 01:24:10中間言語にエスペラント語を使った自動翻訳システムがあると聞いたことがある
0273デフォルトの名無しさん
2007/07/08(日) 03:35:16はいはい
0274デフォルトの名無しさん
2007/07/09(月) 02:57:45適当に探したら
http://www.cs.berkeley.edu/~benr/publications/auscc03/papers/boddington-auscc03.pdf
とかがそうだった
0275デフォルトの名無しさん
2007/07/16(月) 13:28:350276デフォルトの名無しさん
2007/07/19(木) 10:53:110277デフォルトの名無しさん
2007/07/19(木) 19:38:080278デフォルトの名無しさん
2007/07/20(金) 11:06:590279デフォルトの名無しさん
2007/07/20(金) 14:14:310280デフォルトの名無しさん
2007/07/20(金) 15:47:430281デフォルトの名無しさん
2007/07/21(土) 02:57:43確かに難しい。今まで書いたプログラムの中で一番難解だ。
0282デフォルトの名無しさん
2007/07/21(土) 07:14:420283デフォルトの名無しさん
2007/07/21(土) 09:36:420284デフォルトの名無しさん
2007/07/21(土) 13:02:310285デフォルトの名無しさん
2007/07/22(日) 12:22:03やっぱ、EUC以外だと、./configureのオプションつけるしかないのかな?
この辺、iconvでも使って、パフォーマンスは落ちるけど、コマンドライン引数で何とかできるようにすればいいのに
0286デフォルトの名無しさん
2007/07/22(日) 13:31:03そういうラッパーを自分で書けばいいだろ
0287デフォルトの名無しさん
2007/07/22(日) 13:57:54コードのセンスは良くないよね
0288デフォルトの名無しさん
2007/07/22(日) 14:18:300289デフォルトの名無しさん
2007/07/22(日) 14:18:32そしたら、俺の仕事が大変楽になったのに・・・。
どっちもDARTSライブラリ使いまわしで、DobleArray構成してるんだよね?
0290デフォルトの名無しさん
2007/07/22(日) 14:39:45他にもっと速いのないの?
0291デフォルトの名無しさん
2007/07/23(月) 06:51:060292デフォルトの名無しさん
2007/07/23(月) 08:51:190293デフォルトの名無しさん
2007/07/23(月) 10:08:250294デフォルトの名無しさん
2007/07/24(火) 05:56:530295デフォルトの名無しさん
2007/07/24(火) 14:47:360296デフォルトの名無しさん
2007/07/24(火) 19:20:000297デフォルトの名無しさん
2007/07/24(火) 19:22:290298デフォルトの名無しさん
2007/07/24(火) 20:19:24それって特定の分野に絞ればもう合格してたような希ガス
0299デフォルトの名無しさん
2007/07/24(火) 22:56:110300デフォルトの名無しさん
2007/07/25(水) 07:56:580301デフォルトの名無しさん
2007/07/25(水) 09:11:040302デフォルトの名無しさん
2007/07/25(水) 20:22:11あるーよ
0303名無しさん@そうだ選挙に行こう
2007/07/29(日) 16:34:48(゚д゚ )
(| y |)
ハードディスクが中国で人気が在ると言っても
ハード ( ゚д゚) ディスク!
\/| y |\/
exciteの中国翻訳で日本語に訳してみよう。
( ゚д゚) ハードディスク
(\/\/
すごい事になりますた。
( ・д・)
(| y |)
http://www.excite.co.jp/world/chinese/
0304名無しさん@そうだ選挙に行こう
2007/07/29(日) 19:41:070305デフォルトの名無しさん
2007/07/30(月) 15:38:50各種ディスクドライブ
でやってみると…
0306デフォルトの名無しさん
2007/07/30(月) 23:47:390307デフォルトの名無しさん
2007/07/31(火) 18:52:56Powerset社に参加し,サーチエンジンに自然言語処理を本格的に
応用する。
Kaplan, who has led the [Xerox PARC] “natural language” group for several years,
joined Powerset as chief technology officer in July.
http://72.14.235.104/search?q=cache:pw6gx1zSSC4J:venturebeat.com/2007/02/08/powersets-search-technology-scoop-may-scare-google/+Powerset+and+Natural+Language+Search+kaplan&hl=ja&ct=clnk&cd=1&gl=jp
LFGを応用すると,こんな検索が可能となるそうだ。
“Who acquired IBM?” Google will give you lots of results about companies that
IBM acquired, even though that’s not what you asked. Powerset, on the other
hand, will give results of the companies that acquired IBM units
LFGは日本語の処理も可能で,多言語対応版はXFGと呼ばれている。
ACL2007ではPowerset社COEが基調講演を行った。講演後にKaplanとともに
皆の祝福を受けていた。
0308デフォルトの名無しさん
2007/07/31(火) 21:19:550309デフォルトの名無しさん
2007/08/01(水) 09:45:52いったい現状のどこが不満なのかわからん。
推論マシンみたいにしたいって事?
0310デフォルトの名無しさん
2007/08/01(水) 09:48:53僕、実は思考盗聴されているんですけど!その3
http://life8.2ch.net/test/read.cgi/jinsei/1179663175/
0311デフォルトの名無しさん
2007/08/01(水) 10:00:010312デフォルトの名無しさん
2007/08/01(水) 12:28:35最近出来たばっかりのページでも「正しい」内容を書いてあるページを
理解して、そこを上位にして欲しい。
0313デフォルトの名無しさん
2007/08/01(水) 13:12:05"日本国の総理大臣は誰ですか?"
"今流行のファッションはなんですか?"
って検索すると、答えのページが出てくるって話だろ。
Prologを実装したらよくね?w
0314デフォルトの名無しさん
2007/08/01(水) 13:37:55Powerset gets $12.5M
http://72.14.235.104/search?q=cache:2mmdnsTfx6oJ:venturebeat.com/2006/11/05/powerset-gets-125m-at-whopper-valuation-to-go-after-search-holy-grail/+%22has+raised+%2412.5+million+%22&hl=ja&ct=clnk&cd=2&gl=jp
日本の自然言語処理も高く売れるといいね。
Powerset/PARCのLFGパーサー出力を次にどのように意味分析するかは,
企業秘密なのだろう。講演を聞いても分からなかった。同じACL2007で
元PARCの研究者がLFG+意味解釈について発表していた。彼女は,
Powersetとは関係ないが,参考になるかも。
http://www.aclweb.org/anthology/W/W07/W07-1402
0315デフォルトの名無しさん
2007/08/01(水) 13:52:470316デフォルトの名無しさん
2007/08/01(水) 14:03:14未定義の語を基本語彙へ置き換えることで定義すれば、理解できた(定義された)文は、基本語彙のみにより記述されている。
ただし、語に複数の意味がある場合、意味で分類しなければならない。どの意味になるかは、文の理解に必要で、
人工知能が正確な意味を確認する状況も想定される。例えば、「肩車」を「肩」と「車」の
複合語として読み取った場合、「車」は一般的な「自動車」の意味なのかを確認する必要があるかもしれない。
0317デフォルトの名無しさん
2007/08/09(木) 21:43:03そんな感じの処理に役立つソフトやライブラリ、アルゴリズムを教えてください。
0318デフォルトの名無しさん
2007/08/09(木) 21:55:45個人がどうとか言うレベルの話ではないと思われ。
0319317
2007/08/09(木) 22:12:49個人利用にとどめれば2chは訴えたりしないだろうし、一種のコーパス、知識データベースとして
見ればなかなかオイシイですよ。特に質問スレ。
聞いたことあるな〜って単語があったとき、詳しく知るためにgrepしたこと数知れず……。
もしかして私だけ?( ̄〜 ̄;)
0320317
2007/08/09(木) 22:25:32↓
平均との差分を取って、出現箇所の偏りが激しい単語を抽出
↓
それらの単語について共起確率を計算、適当にカテゴリ化
↓
カテゴリ内の距離を詳しく計算
みたいな感じで地図つくったらなんか便利そうなのよね。
0321デフォルトの名無しさん
2007/08/10(金) 00:08:11この統計情報は誰のものになりますか?
A社のコーパスのかわりに、B社のWEBサイトの文章を使った場合についても教えてください。
0322デフォルトの名無しさん
2007/08/10(金) 07:55:01統計情報のみの提供なら、統計情報は統計情報を作った人の物。
0323デフォルトの名無しさん
2007/08/11(土) 09:01:35だめなんじゃない?
0324デフォルトの名無しさん
2007/08/11(土) 09:02:23声かけられた人いる?
0325デフォルトの名無しさん
2007/08/11(土) 09:19:14SuffixArrayの利点は何かあるんでしょうか?
直感的に(実装が)分かりやすいくらい?
0326デフォルトの名無しさん
2007/08/11(土) 12:48:120327デフォルトの名無しさん
2007/08/11(土) 13:47:05特定分野に限れば、Suffixに構築速度の点で一応分がある
あとDoubleアレイは辞書引き特化だから、全文検索に使うのは一工夫いる
0328デフォルトの名無しさん
2007/08/12(日) 03:38:32Googleとか、普通に検索エンジンのデータ流用してるし、売ったりもしてるっしょ。
0329デフォルトの名無しさん
2007/08/12(日) 09:32:49辞書ファイルをぶっこぬいて
それを処理したら・・・
0330デフォルトの名無しさん
2007/08/14(火) 18:15:10そこから大量の統計データ取ってそうだけど。
0331デフォルトの名無しさん
2007/08/14(火) 21:38:330332デフォルトの名無しさん
2007/08/15(水) 18:30:14辞書とか確率とか、自然言語処理って圧縮操作に似てるところがあるから、
オリジナルの劣化圧縮版と見做されると危険は常にあるよね。
市販の辞書をコーパスにするのがまずいっていうのは、そういう背景があってのことでしょ?
言い換えるなら、情報の有無自体が辞書の価値だからさ。
0333デフォルトの名無しさん
2007/08/15(水) 18:31:20なんか時代に取り残されてる感じだよね。
統計学を熟知したスーパーハカーが趣味で書いたコードのほうが
実際には訳に立ちそうな感じ。スパムフィルタとか。
0334デフォルトの名無しさん
2007/08/15(水) 19:12:48そういえば、Googleは他人のサイトのデータを勝手に使って、色んなサービス(検索エンジン自身も)をやってるわけだけど
ああいうのって、裁判起こされたりしないのかな?
0335デフォルトの名無しさん
2007/08/15(水) 19:43:48Google「おいおい、俺らは利用者のためにサービスを向上させてるだけで、
それ以外のことはしてないぜ?」
Google「俺らのサービスは、利用者をオリジナルのサイトに案内することだ。
そのために要約を作ったり、統計を使ったり、辞書を作ったりする。
ついでに広告も出す」
Google「どうしても嫌ならサイトのトップディレクトリに robots.txt 置けよ。
お望みどおり、サイトが『存在しなかった』ことにしてやるからwww」
という感じ。
0336デフォルトの名無しさん
2007/08/16(木) 18:48:500337デフォルトの名無しさん
2007/08/16(木) 20:34:24好きになれない。
0338デフォルトの名無しさん
2007/08/16(木) 21:52:42なんかグレーゾーンって著作権やってる弁護士に聞いたことある。
特にキャッシュなんかはまずいらしいけど。
0339デフォルトの名無しさん
2007/08/17(金) 18:58:120340デフォルトの名無しさん
2007/08/17(金) 22:27:140341デフォルトの名無しさん
2007/08/18(土) 02:13:49研究やってるヤツが、Googleに引き抜かれるんだよ。
Googleそのものが研究の大部分をやってたわけじゃない。
Googleがいるから研究が出来ないとか、根本からおかしい。
あそこは所詮商業的な活動をする企業だよ。
0342デフォルトの名無しさん
2007/08/18(土) 10:36:37→優秀な人はGoogleで研究する & Google以外は人が減る
→Googleに太刀打ちできない!
あってると思うが?
あと研究が"出来ない"とはだれも言ってない。
0343デフォルトの名無しさん
2007/08/18(土) 17:46:220344デフォルトの名無しさん
2007/08/18(土) 19:07:240345デフォルトの名無しさん
2007/08/18(土) 19:50:57回答しても時間の無駄なので却下
0346デフォルトの名無しさん
2007/08/19(日) 03:54:03掲示板で脈絡とか痛い奴だな。
わかんねーならただROMってろよ、低脳。
0347age
2007/08/19(日) 13:03:15ルール?確率?
0348デフォルトの名無しさん
2007/08/19(日) 14:39:320349デフォルトの名無しさん
2007/08/19(日) 22:18:58なんでもいいんで研究で使ってるアルゴリズム教えてください。
0350デフォルトの名無しさん
2007/08/19(日) 23:29:42わかんねーならただROMってろよ、低脳。
0351デフォルトの名無しさん
2007/08/19(日) 23:59:490352デフォルトの名無しさん
2007/08/20(月) 00:05:01唐突な単発質問に真面目に答えてやると、
どっかのバカ匿名掲示板の運用者が
それをネタにまたぞろバカビジネスを企画する
って展開もう飽き飽きだからなぁ。
真面目に答えて欲しいなら、金を出せ。以上だ
0353デフォルトの名無しさん
2007/08/20(月) 01:08:530354デフォルトの名無しさん
2007/08/20(月) 11:45:10つ ttp://acl.ldc.upenn.edu/
0355デフォルトの名無しさん
2007/08/21(火) 14:33:53そこから単語出現頻度を求めるとなると、SIL,LBLという手法を使うみたいでして、
これがいまいちパッとしない感じがしてしまうのですが、
現在でも使われているのでしょうか?
0356デフォルトの名無しさん
2007/08/21(火) 17:43:480357デフォルトの名無しさん
2007/08/22(水) 08:58:57一般公開。日本語の検索もできて、便利。
Adam Kilgarriffはこの世界では結構有名。
http://www.sketchengine.co.uk/
0358デフォルトの名無しさん
2007/08/22(水) 10:05:26ここは金を払わないとまじめに答えたくないヤツしかいないから、他にあたった方がいいよ。
つーか、このスレ何の為のスレなんだろうな。
0359デフォルトの名無しさん
2007/08/22(水) 15:18:42>>355
Suffix ArrayのはMSRのChurchさんが昔書いたジャーナルを読んだら大体分かる筈。
現在も使われてるかという質問なら
「使う奴も居る。もうちょっと頭の良さげな方法を使ってる奴も居る」
としか答えられない。
0360デフォルトの名無しさん
2007/08/22(水) 17:06:45業務では使ってるかも知れないし、使ってないかも知れない。
0361デフォルトの名無しさん
2007/08/22(水) 20:11:310362デフォルトの名無しさん
2007/08/23(木) 12:29:48「もうちょっと頭のよさげな方法」ってなに?
0363デフォルトの名無しさん
2007/08/23(木) 22:06:540364デフォルトの名無しさん
2007/08/23(木) 22:11:290365デフォルトの名無しさん
2007/08/23(木) 23:31:24コイツはしったかか?
0366デフォルトの名無しさん
2007/08/24(金) 00:13:50suffix arrayの構築法なんかは進化がむちゃくちゃ速いようだったので、
SILとLBLがそんなん使うなよ!ってレベルのものなのか不安になりまして。(参考にしたのは2005年のものでした)
今は
ttp://project.carrot2.org/
を参考にして作ってます。SILとLBLに比べたらずいぶんわかり易いです。
0367デフォルトの名無しさん
2007/08/24(金) 09:59:24このスレは、NAISTの連中が、素人の質問を見ながらニタニタするスレだよ!
0368デフォルトの名無しさん
2007/08/24(金) 11:52:31質問のメール出しても論文欲しいって言ってもそっけないし
0369デフォルトの名無しさん
2007/08/24(金) 12:52:100370デフォルトの名無しさん
2007/08/24(金) 14:04:270371デフォルトの名無しさん
2007/08/24(金) 14:24:360372デフォルトの名無しさん
2007/08/25(土) 01:20:440373デフォルトの名無しさん
2007/08/25(土) 02:52:300374デフォルトの名無しさん
2007/08/25(土) 04:12:100375デフォルトの名無しさん
2007/08/25(土) 04:39:250376デフォルトの名無しさん
2007/08/25(土) 04:40:520377デフォルトの名無しさん
2007/08/25(土) 04:42:190378デフォルトの名無しさん
2007/08/25(土) 04:53:550379デフォルトの名無しさん
2007/08/25(土) 04:58:490380デフォルトの名無しさん
2007/08/25(土) 09:14:28あんな糞ライブラリ
やっぱり工藤ちゃんだね
0381デフォルトの名無しさん
2007/08/25(土) 10:12:15特に奈良先や京大の人とか
0382デフォルトの名無しさん
2007/08/25(土) 14:23:370383デフォルトの名無しさん
2007/08/25(土) 15:16:36わかってて書いてるんだろうか・・・
0384デフォルトの名無しさん
2007/08/25(土) 18:44:52精度も糞
コスト値推定も糞
ライブラリとしても糞
mecab最強
0385デフォルトの名無しさん
2007/08/25(土) 18:55:26工藤氏はNAIST出身
Chasenの開発もやってた人。
そのChasenを改良したのがMeCab
そのMeCabをフルスクラッチで書き直してネイティブJavaにしたものが、Sen
0386デフォルトの名無しさん
2007/08/25(土) 19:12:000387デフォルトの名無しさん
2007/08/25(土) 22:52:48あれなら無いほうがマシ
0388デフォルトの名無しさん
2007/08/26(日) 09:20:09>MeCabをフルスクラッチで書き直してネイティブJavaにしたものが、Sen
処理速度はMeCabが圧倒的に早い?
0389デフォルトの名無しさん
2007/08/26(日) 11:19:46こんな事言うとJava信者から猛バッシング食らうかも知れないけど
それは、Javaが圧倒的に遅いからだと思う。
コード的にはSenは随分綺麗になった。
0390デフォルトの名無しさん
2007/08/26(日) 11:43:550391デフォルトの名無しさん
2007/08/26(日) 14:55:14正直な感想です。
0392デフォルトの名無しさん
2007/08/26(日) 16:06:17やっても、BASICでゲーム製作が関の山
正直な感想って、どんだけ捻くれてるんだよw
0393デフォルトの名無しさん
2007/08/26(日) 16:49:24読めばわかるよ。
0394デフォルトの名無しさん
2007/08/26(日) 17:17:24つーか、もしプログラミングをunder18世代が出来るとすれば、14〜16くらいの方が一般的にハイレベル。
世界的なすげぇPGやハッカーは、みんなこの年代だし。俺らみたいな頭の固いヤツよりはるかに良いコードを書くよ。
そういう意味では、中学生的コードの書き方と言うのは、絶賛と言う意味になるわけだが…
0395デフォルトの名無しさん
2007/08/26(日) 17:19:41頭は柔らかいかもしれないが、一番分かりやすいのが変数・関数名のつけ方がry
Senのコードはまさにそれ。ハッカー的コードだが、教養の無さが露見
0396デフォルトの名無しさん
2007/08/27(月) 07:49:310397デフォルトの名無しさん
2007/08/27(月) 12:41:16やりますからw
0398デフォルトの名無しさん
2007/08/27(月) 13:03:13程度の低い高校生じゃなかろうか
0399デフォルトの名無しさん
2007/08/28(火) 02:12:27自然言語処理を研究している人たちは計算機科学的アプローチ、認知科学的アプローチ、アルゴリズム的アプローチ、言語学的アプローチ、どのアプローチで研究してますか?
0400デフォルトの名無しさん
2007/08/28(火) 07:53:470401デフォルトの名無しさん
2007/08/28(火) 08:28:51本人様ですか?
そりゃ失礼w
0402デフォルトの名無しさん
2007/08/28(火) 09:54:53そういう偏ったアプローチはやりません。
0403デフォルトの名無しさん
2007/08/28(火) 11:04:38動けばよかろうなのだァッ!!
0404デフォルトの名無しさん
2007/08/28(火) 13:18:18流行だね。でもちゃんと結果でるし。
0405デフォルトの名無しさん
2007/08/28(火) 14:39:220406デフォルトの名無しさん
2007/09/01(土) 18:31:45UNIX系?それとも、最近はWindows?
いつも、Cygwinでゴリゴリコーディング&動作させながら
時代錯誤じゃないか?って思うようになってきた。
0407デフォルトの名無しさん
2007/09/01(土) 18:33:570408デフォルトの名無しさん
2007/09/01(土) 21:41:45最近は、コンパイラ性能は、MSのがかなり強いんだって?
gccで十分とか思ってたが、そんなに差があるものなのだろうか。
0409デフォルトの名無しさん
2007/09/01(土) 21:44:590410デフォルトの名無しさん
2007/09/01(土) 22:28:57というか、この分野のMac率の高さは異常。
でもまあ、大規模な実験はそれなりにリッチなハードに入ったLinuxでやるのが普通かと。
0411デフォルトの名無しさん
2007/09/01(土) 23:49:120412デフォルトの名無しさん
2007/09/02(日) 00:25:060413デフォルトの名無しさん
2007/09/02(日) 00:28:17とか?w
ネタでしょ?本当にMacOSXなんて使ってんの?
0414デフォルトの名無しさん
2007/09/02(日) 00:31:03普通の実験は、Linux
大規模になると、どっかのメインフレーム間借りして24時間数ヶ月回すって感じ。
Macは流石にネタだろう・・・。
聞いた事無いぞ・・・。
Solarisは、数十年前では定番だったが、今はありえない。
0415デフォルトの名無しさん
2007/09/02(日) 01:17:09でも、単に自然言語の研究者にMacユーザが多いからかもしれん。
個人的にはマルチバイトな言語をやるんならWin使った方が苦労が少ないと思う。
0416デフォルトの名無しさん
2007/09/02(日) 04:42:10並列処理を有効利用できない技術不足君ですか。
0417デフォルトの名無しさん
2007/09/02(日) 07:51:210418デフォルトの名無しさん
2007/09/02(日) 09:06:040419デフォルトの名無しさん
2007/09/02(日) 09:47:100420デフォルトの名無しさん
2007/09/02(日) 10:08:440421デフォルトの名無しさん
2007/09/02(日) 21:12:48本番環境に合わせるためでしょ。
開発はWinの方がやりやすいし。
>>416
今時Linuxでも並列処理出来るだろ。
なんで、わざわざそんだけの為にソラリスなんだよw
0422デフォルトの名無しさん
2007/09/02(日) 23:46:24Kernel読むとわかるけど、ふつー読む気にならん位のソースなんだよなあれって
0423デフォルトの名無しさん
2007/09/03(月) 00:23:26できるとかいってるアホがいるけど、どうせまともな検証もせずに「俺の作ったのは動いたよ」レベルなんだろ?
小物データを片手で数えられるような CPU で処理してる低能にはわかんないかもね。
0424デフォルトの名無しさん
2007/09/03(月) 00:27:24それ以上のお話は他所でやってくれ
0426デフォルトの名無しさん
2007/09/03(月) 01:05:09適当に書いたコードをきりきり回せば良いんじゃね?
商用Unixにかけるコストをハードウェアにかけた方が後々楽。
0427デフォルトの名無しさん
2007/09/03(月) 01:16:15化石にも程がある。
今の時代、一体どれだけのLinuxユーザーが居ると思ってるんだ。
そんなもん、とっくに検証されて、改善されてるだろ。
>Linux を例に挙げると安定度やスケーラビリティに問題がある。
随分昔の知識か、またどうせ受け売りか、先入観だろ。
馬鹿馬鹿しい反論だな。そう言うなら、ソース出せ。
どうせ自分で検証して無いくせに。してたとしても、それは自分の実装が悪いんだろ。
0428デフォルトの名無しさん
2007/09/04(火) 09:44:320429デフォルトの名無しさん
2007/09/04(火) 10:03:320430デフォルトの名無しさん
2007/09/04(火) 10:12:25Nexentaは期待してるけど、まだだね。
DTraceはべんりだよ。面倒くさいけど。
0431デフォルトの名無しさん
2007/09/05(水) 07:13:050432デフォルトの名無しさん
2007/09/05(水) 21:02:40ほほう。典型的な低能ですな。そんなに Linux をマンセーしたいのかい?
ユーザーが多いって、おま Linux なんて 2 コアとかせいぜい 4-8 コアの趣味人層がメインだろうが。
それ以上もいないとはいわんが、レアである事は間違いない。
> 随分昔の知識か、またどうせ受け売りか、先入観だろ。
なんか必死だな。ただ思い込みの激しいだけかもしれんけど。
こっちは検証した結果だめだったていってんだよ。他にも現行のスケジューラの問題点は指摘されてんだろ。
検証してねーのはおまえだろう。一応 CFS には期待してますよ。
0433デフォルトの名無しさん
2007/09/05(水) 21:08:000434デフォルトの名無しさん
2007/09/05(水) 21:53:19なんで必死なの?
大体、そんな大層ご立派な計算機環境であなたはどんなご立派な成果を出してるの?
0435デフォルトの名無しさん
2007/09/05(水) 23:04:11お前痛々しいよ
0436デフォルトの名無しさん
2007/09/05(水) 23:10:25煽っても無いものは出せんよ
0437デフォルトの名無しさん
2007/09/07(金) 07:42:19ttp://jp.sun.com/communities/0605/feature02.html
0438デフォルトの名無しさん
2007/09/07(金) 08:00:240439デフォルトの名無しさん
2007/09/08(土) 07:31:03馴れ合い大好き奈良先のsun厨が書き込んでいたのか
0440デフォルトの名無しさん
2007/09/08(土) 14:41:140441デフォルトの名無しさん
2007/09/08(土) 15:07:37Gentooの中の人がいるらいいんで。
0442デフォルトの名無しさん
2007/09/08(土) 15:16:54440>>
全入ってなに?奈良先が全員入学できるってこと?アホな僕に愛の手を
0443デフォルトの名無しさん
2007/09/08(土) 15:58:55なるほどそれで最近目立った成果がないのか。
不思議だったんだけど謎が解けた。
0444デフォルトの名無しさん
2007/09/08(土) 16:37:460445デフォルトの名無しさん
2007/09/08(土) 17:54:180446デフォルトの名無しさん
2007/09/08(土) 22:35:15閲覧するツールって、文書書いたりするときに
すごく役に立ちそうだけど、共起辞書でぐぐっても
あんまりヒットしない。
なんでこんなに知名度低いの?
もしかして検索の仕方間違えてる?
0447デフォルトの名無しさん
2007/09/08(土) 22:45:28フィリーでないのが利用者が少ない原因ですか?
0448デフォルトの名無しさん
2007/09/09(日) 00:57:14うちも人ごとではないが
0449デフォルトの名無しさん
2007/09/09(日) 01:13:49まだまだ、ブランド力はある。
ま、それも時間の問題だろうがな。
今まで他がこの分野に目を付けなかっただけの事。
0450デフォルトの名無しさん
2007/09/09(日) 01:16:320451デフォルトの名無しさん
2007/09/09(日) 08:00:470452デフォルトの名無しさん
2007/09/09(日) 18:20:02あれはシソーラスはどうやって作ってるんかしら。
0453デフォルトの名無しさん
2007/09/09(日) 21:35:13EDR使って何したいの?
0454デフォルトの名無しさん
2007/09/10(月) 01:06:070455447
2007/09/10(月) 07:40:25というか、WordNetは、今でも多くの
研究者が利用しているのに、日本の研究者が
EDRを積極的に利用していないような印象を
受けたので、質問してみました。
0456デフォルトの名無しさん
2007/09/10(月) 12:23:59統計的なアルゴリズムはもとから非決定的なのでは?
0457デフォルトの名無しさん
2007/09/10(月) 12:36:09そう?
0458デフォルトの名無しさん
2007/09/11(火) 00:14:540459デフォルトの名無しさん
2007/09/11(火) 00:20:370460デフォルトの名無しさん
2007/09/11(火) 08:25:37嘘ばっか書かれすぎ。
0461デフォルトの名無しさん
2007/09/11(火) 08:39:280462デフォルトの名無しさん
2007/09/11(火) 11:40:45ひとつの問いかけに対して、複数の解がありうる場合を
いう。このWikipediaの非決定的アルゴリズムの説明は
これを完全に欠いており、 >>460 が正しい。
0463デフォルトの名無しさん
2007/09/11(火) 11:49:300464デフォルトの名無しさん
2007/09/11(火) 13:05:340465デフォルトの名無しさん
2007/09/11(火) 16:52:010466デフォルトの名無しさん
2007/09/12(水) 00:58:320468sage
2007/09/15(土) 21:10:570469デフォルトの名無しさん
2007/09/15(土) 21:22:130470デフォルトの名無しさん
2007/09/15(土) 23:27:252Dあるいは3Dしか表示できない現代のディスプレイに
上手く表示するにはどうすれば???
グラフ理論とかそういうのが必要ですか?
0471デフォルトの名無しさん
2007/09/16(日) 13:20:310472デフォルトの名無しさん
2007/09/16(日) 15:09:360473デフォルトの名無しさん
2007/09/16(日) 15:11:19グラフ理論とかそういうのが必要必要
0474デフォルトの名無しさん
2007/09/16(日) 15:21:420475470
2007/09/16(日) 16:29:47画像処理スレで質問してみようと思います。
0476デフォルトの名無しさん
2007/09/18(火) 21:27:560477デフォルトの名無しさん
2007/09/18(火) 21:57:060478デフォルトの名無しさん
2007/09/20(木) 11:01:200479デフォルトの名無しさん
2007/09/20(木) 11:14:540480デフォルトの名無しさん
2007/09/21(金) 23:15:440481デフォルトの名無しさん
2007/09/21(金) 23:30:470482デフォルトの名無しさん
2007/09/22(土) 13:52:000483デフォルトの名無しさん
2007/09/22(土) 14:36:55HTML化するようなパーサってないのかな?
0484デフォルトの名無しさん
2007/09/22(土) 14:37:330485デフォルトの名無しさん
2007/09/22(土) 17:30:430486デフォルトの名無しさん
2007/09/22(土) 17:32:50日本語でおk
0488デフォルトの名無しさん
2007/09/22(土) 22:52:380489デフォルトの名無しさん
2007/09/24(月) 05:22:470490デフォルトの名無しさん
2007/09/24(月) 05:23:150491デフォルトの名無しさん
2007/09/24(月) 05:23:500492デフォルトの名無しさん
2007/09/24(月) 08:57:38芝公園の小僧、出てきたな
0493デフォルトの名無しさん
2007/09/24(月) 09:05:14あとは『構造の自動抽出』(ADIOS)な
0494デフォルトの名無しさん
2007/09/24(月) 11:25:040495デフォルトの名無しさん
2007/09/24(月) 12:04:54どういう風に?
やっぱりRubyとか使うんですか?
0496デフォルトの名無しさん
2007/09/24(月) 13:29:35XMLを読み込んでどうするかは、何やるか次第だからわからんけど。。
rubyが好きとか、使いたいモジュールがrubyにあるなら、rubyにするんじゃない?
俺はたぶんJavaを使う。XML関係は充実してるし、jdk1.5から入った、
concurrent周りが結構充実してるので、そういうの使って、
(無理矢理)並列化して、たくさんあるCPU/CPU coreをフル稼働するのが最高。
まあ、このスレだと、こういう低レベルな話は関係なさそうだけど…
0497デフォルトの名無しさん
2007/09/24(月) 13:51:440498デフォルトの名無しさん
2007/09/24(月) 14:33:300499デフォルトの名無しさん
2007/09/24(月) 16:49:55確かに酷いもんだな
ゲノムやっとけゲノム。
なまばけがくじょうほうしょり。
0500デフォルトの名無しさん
2007/09/25(火) 03:21:250501デフォルトの名無しさん
2007/09/25(火) 10:36:300502デフォルトの名無しさん
2007/09/25(火) 14:06:530503デフォルトの名無しさん
2007/09/25(火) 18:51:170504デフォルトの名無しさん
2007/09/25(火) 20:48:05HTMLにする理由がわからない・・・XMLを読み込んで・・・
というあたりから、なにも知らないというか調べてもいないってことが分かる。
尚且つ、何やってんの馬鹿?みたいな態度で批判してる。
これらを合わせると、rubyとlinuxを使ってるかなーと。
rubyとかlinuxは実践しなくても妄想力だけで偉くなれるから。
それでrubyが出てくるわけで他意はない。
0505デフォルトの名無しさん
2007/09/26(水) 03:06:510506デフォルトの名無しさん
2007/09/26(水) 03:58:05(すた☆らき)
 ̄ ̄\| ̄
http://www.freewebs.com/premiumtv/?X3/?STV=%E3%82%89%E3%81%8D+%E3%81%99%E3%81%9F
0507デフォルトの名無しさん
2007/09/26(水) 12:53:18XMLデータ取ってきて、タグ排除して、生コーパスにして、インデキシング作成するならともかく・・・
0508デフォルトの名無しさん
2007/09/26(水) 16:48:500509デフォルトの名無しさん
2007/09/26(水) 19:27:43rubyを批判してるんじゃなくて、rubyを使うやつにはなぜかカスが多いと・・・
0510デフォルトの名無しさん
2007/09/27(木) 00:15:090511デフォルトの名無しさん
2007/09/27(木) 00:19:150512デフォルトの名無しさん
2007/09/27(木) 01:56:140513デフォルトの名無しさん
2007/09/27(木) 09:47:32loveとend
0514デフォルトの名無しさん
2007/09/27(木) 10:39:420515デフォルトの名無しさん
2007/09/27(木) 20:17:220516デフォルトの名無しさん
2007/09/27(木) 21:03:11不思議だよねぇ。
0517デフォルトの名無しさん
2007/09/27(木) 21:05:59馬鹿発見。
0518デフォルトの名無しさん
2007/09/28(金) 03:07:06馬鹿の典型。
0519デフォルトの名無しさん
2007/09/28(金) 03:08:46ちょw
それで共起取るのが俺の卒研ww
そしてその処理はCだがな。Rubyとか馬鹿言語は死んでも使わん。
0520Ruby
2007/09/28(金) 08:27:15お前らより余程頭が良いわ!
と申しております。
0521デフォルトの名無しさん
2007/09/28(金) 09:27:26ダメだこりゃ
0522デフォルトの名無しさん
2007/09/28(金) 10:18:210523デフォルトの名無しさん
2007/09/28(金) 10:30:50わざわざXMLを選んでるんじゃなくて、元がその形式だからしょうがない。
多分、話がかみ合ってない人は、wikipediaのデータが、xml形式で提供されてるのを知らないんだろうな。
まぁ、そこからHTML化はありえないが・・・
0524デフォルトの名無しさん
2007/09/28(金) 10:33:52よう俺
タグ外しは流石にperlの正規表現使ったけどな。Cって共起計算の方だよな?タグ外しまでCでやってるとかならテラアフォすw
XMLパーサー使えば、データだけ簡単に取れると思ってたら、ファイルサイズが巨大すぎてそもそもパーサーが読み込んでくれなかった罠・・・orz
0525デフォルトの名無しさん
2007/09/28(金) 10:40:51俺は死んでもあんなもん使わない
0526デフォルトの名無しさん
2007/09/28(金) 13:13:050527デフォルトの名無しさん
2007/09/28(金) 13:26:08お前が一番アホ
0528デフォルトの名無しさん
2007/09/28(金) 23:17:58Cを使いこなせない低脳乙w
0529デフォルトの名無しさん
2007/09/28(金) 23:37:38〈〈〈 ヽ
〈⊃ }
∩___∩ | |
| ノ ヽ ! !
/ ● ● | /
| ( _●_) ミ/ <こいつ最高にアホ
彡、 |∪| /
/ __ ヽノ /
(___) /
0530デフォルトの名無しさん
2007/09/28(金) 23:43:340531デフォルトの名無しさん
2007/09/29(土) 03:54:45ruby = Cが使えない低脳
rubyがCで実装されていることをふまえて証明してくれ
0532デフォルトの名無しさん
2007/09/29(土) 04:36:510533デフォルトの名無しさん
2007/09/29(土) 06:10:36それが何か意味のある事か?
perlを見たまえ
0534デフォルトの名無しさん
2007/09/29(土) 06:16:18〈〈〈 ヽ
〈⊃ }
∩___∩ | |
| ノ ヽ ! !
/ ● ● | /
| ( _●_) ミ/ <こいつ最高に低学歴
彡、 |∪| /
/ __ ヽノ /
(___) /
0535デフォルトの名無しさん
2007/09/29(土) 10:57:58〈〈〈 ヽ
〈⊃ }
∩___∩ | |
| ノ ヽ ! !
/ ● ● | /
| ( _●_) ミ/ <こいつら最高だぜ!
彡、 |∪| /
/ __ ヽノ /
(___) /
0536低学歴
2007/09/29(土) 14:08:52技術で返せるなら付き合ってやるぞー
ちとヒマなんだ
0537Pustejovsky
2007/09/30(日) 20:40:30自然言語そっちのけで低レベルな自作自演やってるなw
0538デフォルトの名無しさん
2007/10/01(月) 10:12:020539デフォルトの名無しさん
2007/10/01(月) 10:23:400540デフォルトの名無しさん
2007/10/01(月) 15:02:13必要なソース規模が意外に小さいですね
0541デフォルトの名無しさん
2007/10/01(月) 23:27:50>必要なソース規模が意外に小さいですね
意味解析のソースのサイズはチェックした?
0542デフォルトの名無しさん
2007/10/02(火) 09:13:33人工無脳用に自作可能か考えていました。
自然言語処理の意味解析はプログラミング言語(型や有効範囲)と比べて、
かなり複雑そうですね。
0543デフォルトの名無しさん
2007/10/02(火) 11:16:320544デフォルトの名無しさん
2007/10/02(火) 11:23:06機械には真似が出来ない芸当だね!
0545デフォルトの名無しさん
2007/10/02(火) 11:24:44基本的なことは簡単なんだが、前線で使われてるようなのは、かなり改良が加えられたり
新しい技術が入ってるから、それらを全て調べた上で、ベストなものを選んで取り入れるのは骨が折れる。
車輪の再開発以外の何物でもないから、自作はやめとけ。
0546デフォルトの名無しさん
2007/10/02(火) 11:41:58対象を万葉集の短歌などに限定すれば、
形態素解析も良い課題だと思うが。
0547デフォルトの名無しさん
2007/10/02(火) 11:45:370548デフォルトの名無しさん
2007/10/02(火) 17:32:03万葉集って何?
とかすぐ聞く奴だろ?
0549デフォルトの名無しさん
2007/10/02(火) 17:55:090550デフォルトの名無しさん
2007/10/02(火) 18:22:530551デフォルトの名無しさん
2007/10/02(火) 19:07:240552デフォルトの名無しさん
2007/10/02(火) 19:50:18ていうか無能だひょ
0553デフォルトの名無しさん
2007/10/02(火) 22:34:010554デフォルトの名無しさん
2007/10/06(土) 20:18:51極秘情報を横流しすれば小遣い稼ぎになるよ
0555デフォルトの名無しさん
2007/10/07(日) 17:32:170556デフォルトの名無しさん
2007/10/07(日) 17:37:420557デフォルトの名無しさん
2007/10/07(日) 18:08:160558デフォルトの名無しさん
2007/10/07(日) 18:09:240559デフォルトの名無しさん
2007/10/07(日) 18:36:330560デフォルトの名無しさん
2007/10/11(木) 00:07:09NAISTのヤツって変なヤツが多いんだな
0561デフォルトの名無しさん
2007/10/11(木) 01:03:330562デフォルトの名無しさん
2007/10/11(木) 20:04:030563デフォルトの名無しさん
2007/10/11(木) 23:40:500564デフォルトの名無しさん
2007/10/14(日) 18:07:540565デフォルトの名無しさん
2007/10/14(日) 22:52:57全入だし、人材はどんどんダメになって行ってるのに…。
Namazuの人やChasenの人の頃がピークだったが
所詮後が続かんよね。お得意のモジュール化も、出来る人材居なくて全然出てこないし。
目を付け出してそこそこ力入れだした国立大に、もはや勝ち目無い。
出来る人材は、こんな所より京大行くだろw
0566デフォルトの名無しさん
2007/10/17(水) 07:05:49今はMeCabだよね〜
JUMANなんか使ってる人いるの?
0567デフォルトの名無しさん
2007/10/17(水) 08:32:450568デフォルトの名無しさん
2007/10/17(水) 09:30:330569デフォルトの名無しさん
2007/10/17(水) 09:41:430570デフォルトの名無しさん
2007/10/19(金) 23:08:410571デフォルトの名無しさん
2007/10/20(土) 01:52:31何が聞きたいの
0572デフォルトの名無しさん
2007/10/20(土) 10:31:340573デフォルトの名無しさん
2007/10/22(月) 16:35:43なんかアレだなあ・・・
0574デフォルトの名無しさん
2007/10/22(月) 20:30:010575デフォルトの名無しさん
2007/10/22(月) 21:54:400576デフォルトの名無しさん
2007/10/23(火) 16:16:400577デフォルトの名無しさん
2007/10/23(火) 16:54:140578デフォルトの名無しさん
2007/11/02(金) 09:04:140579デフォルトの名無しさん
2007/11/02(金) 10:00:200580デフォルトの名無しさん
2007/11/02(金) 12:57:42あそこはさぁ、近年の研究成果無視で
ただ単に商売ッ気がたっぷりあるだけだろ。
元になったエンジンは、ちょっと使い物にならないレベルだった、
ってコアな人から聞いた。
0581デフォルトの名無しさん
2007/11/02(金) 13:16:390582デフォルトの名無しさん
2007/11/02(金) 13:52:28パーセプトロンエンジンのこと?
0583デフォルトの名無しさん
2007/11/03(土) 12:19:10あれ?工藤さんって、googleに行ったんだっけ?
ずっとyahooに行ったと思ってたんだが・・・。
0584デフォルトの名無しさん
2007/11/03(土) 16:17:200585デフォルトの名無しさん
2007/11/06(火) 00:43:32グーグル太っ腹と思ったら、金取るんだよな。
やだやだ。オープンソースで、データーもみんなのWebなのに、
自分が作ったデーターは金取るんだぜ。
酷くない。
0586デフォルトの名無しさん
2007/11/06(火) 01:01:10酷くない。
0587デフォルトの名無しさん
2007/11/06(火) 11:08:30そこから生成された統計データなら灰色だとは思うけど、n-gramって事はガチで文字がそのまま入るんでしょ?
まずい単語が入ってたりしてそう
0588デフォルトの名無しさん
2007/11/06(火) 11:50:48こんなのタダみたいなもんだろ。
0589デフォルトの名無しさん
2007/11/06(火) 12:01:38文字というか形態素n-grams (頻度20以上) だけど。
入ったらまずい単語って何?
イメージできんのだが。
0590デフォルトの名無しさん
2007/11/06(火) 13:17:00おまんこ、でも検索結果が出た。ちょっちビックリ。
0591デフォルトの名無しさん
2007/11/06(火) 13:22:28固有名詞はアレだがどうせアノニマイズくらいしてるだろ。
0592デフォルトの名無しさん
2007/11/08(木) 20:09:230593デフォルトの名無しさん
2007/11/09(金) 18:18:150594デフォルトの名無しさん
2007/11/10(土) 16:27:29こんな風に穴抜きパターンを考えたら
入れ替わりが多いだけでパターン数は
そう多くないと思った
0595デフォルトの名無しさん
2007/11/10(土) 19:44:460596デフォルトの名無しさん
2007/11/14(水) 00:09:15>っていうか、勝手に人のサイトのデータ収集して売って良いの?
短くても、短歌や俳句は著作権上<1作品>と認められるから、
著作権の切れていない作品を著作権者に無断で配布するのは、
有料でも無料でも違法。Googleのn-gramは、多分、使用頻度
が極端に低いものを削除しているはずなので、短歌や俳句1作品
が入ってくる可能性は極めて低いはず。
0597デフォルトの名無しさん
2007/11/22(木) 05:41:28まぁ、それ言い出したらイメージ検索なんて、完全にアウトな気がするが・・・w
0598デフォルトの名無しさん
2007/11/24(土) 12:19:540599デフォルトの名無しさん
2007/11/25(日) 21:57:43>日記やブログは著作物にはならんの?
「今日は本当に死ぬほど暑かった。」などという、
多くの人が使用するような表現には、著作権は
ない。Googleのn-gramsは他人のWebから無断で
このような使用頻度の高い表現を抜き出して、無
断で売っているのだが、元の表現に著作権がない
からOK。
0600デフォルトの名無しさん
2007/12/02(日) 03:57:18自然言語処理がやりたいからって理由だったんだが
このスレ見てたら何だか悲しくなってきた...
0601デフォルトの名無しさん
2007/12/02(日) 04:14:150602デフォルトの名無しさん
2007/12/02(日) 07:03:50('A`)
ごめんなさい。崇高な意志の方々。
今じゃそんな事も忘れて
何かに追われるように
毎日文字列処理してる。
意味処理?俺にはムーリ。
国語出来ません。英語読めません。
文法判りません。分類出来ません。
統計判りません。根気ありません。
プログラミングだけは出来ます。
\(^o^)/オタワー
0603デフォルトの名無しさん
2007/12/02(日) 08:12:55プログラマが根気無いのは普通。だから賢くやるんだろ。
統計だけはがんばっとけ。って言うか統計が判らないってのがわからん。
対象を知れば、自ずと適用すべき統計モデルはわかってくるでしょ?
統計モデルを知らんって話だったら、類似した研究の論文を読めとしか・・・。
ああ、ここで根気は必要だな。。。
0604デフォルトの名無しさん
2007/12/03(月) 04:29:08>俺の自然言語処理の走りは、中学時代にハマった「えんいー」
安心しろw
俺も同じだ。っていうか人工無能系にハマって始めたやつって結構居るぞ。
人間の小さい頃の発端なんて、みんなそんなもんでしょ。
むしろ、なんか判らんけどこの道に入っちゃった人の方が哀れと言うか、計画性ナス。
0605デフォルトの名無しさん
2007/12/03(月) 13:09:12勝ち組じゃないの?
0606デフォルトの名無しさん
2007/12/03(月) 13:47:460607デフォルトの名無しさん
2007/12/03(月) 13:55:25ヤフー、マイクロソフト、グーグルあたりとか。
ミクシィみたいなベンチャーとか。
0608デフォルトの名無しさん
2007/12/03(月) 14:28:27その辺は大手過ぎてハードル高いっしょ。
手ごろな企業が無い。
0609デフォルトの名無しさん
2007/12/03(月) 18:33:180610デフォルトの名無しさん
2007/12/04(火) 06:33:47SuffixTree⇔パトリシア Trie
SuffixArray⇔PAT Array
この違いが未だにわからないんですが
同じものなんですか?
資料によって書いてる事が違ってて、
すげぇ混乱してるんですけど。
0611デフォルトの名無しさん
2007/12/04(火) 08:44:49お前去年も同じ事どっかに書いてなかったか?
その2つの違いは派閥だよ。
たまにSuffixTreeの圧縮したものがパトリシアとか書かれてるのがあるが
あれは、SuffixArrayの勘違い。
結論言うと、同じ。
0612デフォルトの名無しさん
2007/12/04(火) 14:34:470613デフォルトの名無しさん
2007/12/04(火) 22:34:17パトリシアトライは、トライの分岐してないノードを消して
圧縮するものである。って主張と
SuffixTreeと同じものである。って主張の2つが存在するなw
多分原因は、長尾氏の
http://www.amazon.co.jp/gp/product/4000103555
この本では前者が書いてあって
北・辻井両氏の
http://www.amazon.co.jp/gp/product/4130654047
この本では、パトリシアTrieの説明で、SuffixTreeの
説明が図付きで書いてあるからだと思う。
どっちの教科書で勉強したかで、全然違う理解になってるはず。
0614デフォルトの名無しさん
2007/12/05(水) 08:37:37ネットは嘘が多いからな。
本の内容も信用できない。
元論文読んで自分で理解しないとダメだな。
0615デフォルトの名無しさん
2007/12/05(水) 18:03:49長尾タンを信じてればいいの?
0616デフォルトの名無しさん
2007/12/05(水) 23:57:28索引に出てないんだが。
0617デフォルトの名無しさん
2007/12/06(木) 01:40:38普通にあってる。
PATトライとSuffixArrayが同じものとして書かれてるところを
読んだ人が勘違いしてるだけのような・・・。
0618617
2007/12/06(木) 01:41:21PATトライ→PATアレイ
0619デフォルトの名無しさん
2007/12/06(木) 07:45:070620デフォルトの名無しさん
2007/12/06(木) 09:40:53→教科書すら読まないやつが、そいつが書いた資料を見る
→その資料をry
どうせこんな感じの魔の連鎖が発生したと思われ。
しょぼい論文でも勘違いしてるのたまに見るしな。
そもそもトライとSuffixTreeのデータ構造そのものは同じで
登録の方法が違う程度だから、トライ関連の改良の紛らわしい
サーベイ論文読んで、勘違いする人が続出なんだろう。
0621デフォルトの名無しさん
2007/12/06(木) 09:55:380622デフォルトの名無しさん
2007/12/06(木) 10:04:49たまに見るぞ。
0623デフォルトの名無しさん
2007/12/06(木) 18:06:420624デフォルトの名無しさん
2007/12/06(木) 21:44:04米マイクロソフトがクリスマスシーズンの子供向けに、自動応答形式で行っていた
サンタクロースとのチャット・サービスをめぐり、「特定のメッセージを送ると、わいせつな
内容の応答が返ってくる」との指摘が寄せられ、同社は5日までに、このサービスを
停止した。
0625デフォルトの名無しさん
2007/12/07(金) 14:31:17http://news24.2ch.net/test/read.cgi/newsplus/1196999394/l50
この人知らない
0626デフォルトの名無しさん
2007/12/07(金) 21:59:370627デフォルトの名無しさん
2007/12/17(月) 13:40:189ページ10行目の「最小となるのはx1, ... , xnのうちの1つが…」ってのは
P(x1), ... P(xn)の間違いだよね?一応確認。
0628デフォルトの名無しさん
2007/12/17(月) 14:41:13ttp://sourceforge.jp/projects/naist-jdic/
形態素解析用辞書 IPADIC の ICOT 条項をクリアするとともに表記ゆれ情報、複合語情報を付与した辞書の公開
0629デフォルトの名無しさん
2007/12/31(月) 15:20:04自動応答システムってこんなんばっか・・・
0630デフォルトの名無しさん
2008/01/04(金) 02:27:01また、自作でなくとも公開されている何かがあって、利用できると言うのならば構いません。
現在、フリーのWEBサーバーisweb上で動く、誤字自動検出CGI、もしくはAppletのようなものが作れないかと考えております。
どなたか、よい参考書、ないし、よいツールをご存知の方がいらっしゃいましたら教えてください。
よろしくお願いいたします。
0631デフォルトの名無しさん
2008/01/04(金) 02:46:39タイポの事?それとも紙に書いた字が間違ってる方?
字が間違ってるのを判別するのは無理だけど
より出現確率の高い候補を提示するようなのは出来る。
単語の確率を漠然と見るのではなく、単語の種類(例えば品詞)が
bi-gramで見たときに、より良い品詞の遷移があるものを選べばよい。
とりあえず、難しい事考えずに結果を出したいなら
適当なニューラルネットワークのプログラムを拾ってきて
学習させればいいんじゃないか?
0632デフォルトの名無しさん
2008/01/04(金) 02:52:31お前には無理。
超えるべき壁が山ほどある。
っていうかそういうプログラムあるんだから拾ってこいよ。
それすらググれないようでは、話にならん。
0633デフォルトの名無しさん
2008/01/04(金) 07:41:50お前には聞いてないからw
知らないなら素直に知らないって言えよ、お馬鹿さんwww
0634デフォルトの名無しさん
2008/01/04(金) 13:08:07まぜっかえされるのが嫌なら2chなんかで質問しないだろうし。
何を書こうがあるいは書くまいが自由。
0635デフォルトの名無しさん
2008/01/04(金) 16:22:17素人でも頑張れば出来なくも無いが、即席を求めるなら後者をお勧め。
既に形態素解析が行える状態で、
common prefix searchとMarkovModelがわかるなら、問題ないが…。
前者を行うなら、まぁ勉強するこった。
どの道この程度の手法だと、どっちでやってもたいした結果が出ないので…。
0636デフォルトの名無しさん
2008/01/05(土) 02:56:37全然話がわからない。
ちゃんとした方法はないの?
0637デフォルトの名無しさん
2008/01/05(土) 06:22:42やっぱりお前には無理。
0638デフォルトの名無しさん
2008/01/05(土) 13:08:48自分の能力を疑ってみることも大切だよ。
0639デフォルトの名無しさん
2008/01/05(土) 14:06:49もうちょっと上手いことやらないと、釣れるものも釣れなくなっちゃうよ。
話題がないスレなんだしさじ加減を間違えなければそれなりに釣れてただろうに、惜しいことしたね。
0640デフォルトの名無しさん
2008/01/05(土) 14:56:42保険かけるのかっこ悪いね
0641デフォルトの名無しさん
2008/01/05(土) 22:15:13あほかw
それすらわからなくて、もっとちゃんとした方法をとろうとしてるのか?
今のお前には、知識的に無理、計算量的に無理、(開発)時間的に無理だと思われ。
普通に一般的な方法なんだが、お前がちゃんとした方法を自分で考えれるなら
勝手にすればいいじゃん。そんな奴がここで聞くとは思えないがな。
0642デフォルトの名無しさん
2008/01/05(土) 22:18:420643デフォルトの名無しさん
2008/01/05(土) 23:26:550644デフォルトの名無しさん
2008/01/05(土) 23:42:56自分でしゃべったほうがマシそうなんだが
0645デフォルトの名無しさん
2008/01/06(日) 00:19:12あれ使い物にならんぞ・・・。
何とか形にした感じだけど、おそらく製品になっても
玩具程度だと思われ。
そもそも、音声入力自体が、全然まともに出来上がってないw
次に、分かち書きが基本的に不可能に近い。理論的には文字での方法と同じだが
現実は遠くかけ離れてる。
あと、最近のATRって確実に質堕ちてるよな?
0646デフォルトの名無しさん
2008/01/06(日) 03:49:14昔は東大・京大ばっかだったのにな。
京阪奈周辺の大学の教授が自分ん所の学生送り込んでたが、優秀な人材はみんな企業行っちまうから…
0647デフォルトの名無しさん
2008/01/06(日) 05:10:570648デフォルトの名無しさん
2008/01/06(日) 06:33:26加えて、マネージメントやってるNICTが国会で槍玉に挙がったもんだから、色々絶望的だよ。
NAISTの人間ですら今じゃGoogleやYahooやNTTに行くもん。あんな所誰が行くんだよw
0649デフォルトの名無しさん
2008/01/06(日) 08:21:15そりゃあ、東大・京大と比べられたらどうしようもないんだろうけど。
0650デフォルトの名無しさん
2008/01/06(日) 14:46:21やってることのレベルで馬鹿にされてるわけじゃないと思う
0651デフォルトの名無しさん
2008/01/06(日) 16:59:260652デフォルトの名無しさん
2008/01/06(日) 17:20:47売りの辞書も、構造が随分時代遅れで、東大・京大よりレベル低いし。
NAISTにEnjuのようなものが作れるとは思えん。
0653デフォルトの名無しさん
2008/01/06(日) 17:23:51最低だな
0654デフォルトの名無しさん
2008/01/06(日) 17:29:320655デフォルトの名無しさん
2008/01/07(月) 15:53:52山下、工藤らが在籍していた前後がピークだよね
0656デフォルトの名無しさん
2008/01/08(火) 09:29:51実際に偉いのは、彼らの先輩の構築したもの。
運と時期が良かっただけ。Googleの登場時期も良かった。
言っちゃあ悪いが、単なる実装屋さんだよ。そのくせ、その辺の専門卒プログラマより質は悪いし。
ま、工学の分野は作ったものが偉いってのも確かなんだがな。
0657デフォルトの名無しさん
2008/01/08(火) 18:00:290658デフォルトの名無しさん
2008/01/08(火) 22:27:070659デフォルトの名無しさん
2008/01/09(水) 00:02:50あとは、それを実際に世に出した、k_takuとたつをも評価してるし
案外まっとうな意見じゃないかと。
0660デフォルトの名無しさん
2008/01/10(木) 10:12:310661デフォルトの名無しさん
2008/01/12(土) 19:13:01ここの連中は論文も読めんのか
0662デフォルトの名無しさん
2008/01/13(日) 00:24:44元論文読んだ事無いってオチじゃないだろうな?
0663デフォルトの名無しさん
2008/01/13(日) 15:20:57東大・京大がすごいと言われているようだけど、
(実際凄いとは思うが)個人名は出てこないもんな。
0664デフォルトの名無しさん
2008/01/13(日) 20:25:00高林はエンジニアよりだけど
0665デフォルトの名無しさん
2008/01/13(日) 20:43:120666デフォルトの名無しさん
2008/01/14(月) 05:45:29そんなに有名な理論系の論文出してるか?
基本的に既存の理論の実装を中心にやってると思うが…。
PATアレイやら、ダブル配列やら、CRFやら、形態素解析やら。
>>665
学生がって・・・。
学生以外居ないだろ。学校なんだから。
大学院大学だから、学部生が居るわけでもあるまいし。
0667デフォルトの名無しさん
2008/01/14(月) 10:00:050668デフォルトの名無しさん
2008/01/14(月) 10:30:08↓日記が見られないから経緯が良く分からんです
http://groups.google.com/group/jlug.ml.debian.devel/browse_thread/thread/bec4b8359c116ae8
0669デフォルトの名無しさん
2008/01/14(月) 10:46:18何もやってないってのがわからないのが今のNAISTの学生。
なんか、それっぽい事してるからだまされるだけで
基本的に彼らのやってるのは、既存の実装技術の欠陥を、あまり注目されてない理論で改良してるだけ。
他の研究者の着眼点が悪いのか、それともそもそも研究者がやるべきことじゃないから目を当てないのかは知らないけどな。
0670デフォルトの名無しさん
2008/01/14(月) 11:23:33別に、そんな叩くほどの価値があるわけでもなく
何らかの理論に対しての論争をするまでも無いレベルなのに
何やってるんだ。
理論が叩かれてるとかなら、有る意味「叩かれてこそ」って言えるけど
そういうレベルの議論でもなさそうだし。馬鹿だなぁ。お前らも。
0671デフォルトの名無しさん
2008/01/14(月) 14:41:20NAISTがろくな研究してないっていうなら会議なり論文なりで否定して見せろよ。
0672デフォルトの名無しさん
2008/01/14(月) 15:11:59会議や論文で叩くにも、相手が何も理論を作ってなきゃやりようがない罠
まさにその話自体が本末転倒
0673デフォルトの名無しさん
2008/01/14(月) 15:22:170674デフォルトの名無しさん
2008/01/14(月) 15:23:560675デフォルトの名無しさん
2008/01/14(月) 15:24:590676デフォルトの名無しさん
2008/01/14(月) 15:30:19また嫉妬か。みっともない。
もっとも俺はNAIST関係者じゃないが。
0677デフォルトの名無しさん
2008/01/14(月) 15:42:100678デフォルトの名無しさん
2008/01/14(月) 15:54:17学校批判したけりゃ、お受験板にスレたてて来い。
どっちにしろ、そんなレベルの低い話しても、誰もうれしくない。
0679デフォルトの名無しさん
2008/01/15(火) 16:48:25会議や論文は叩くためのものじゃないだろ・・・
0680デフォルトの名無しさん
2008/01/18(金) 14:55:310681デフォルトの名無しさん
2008/01/18(金) 14:57:400682デフォルトの名無しさん
2008/01/18(金) 20:12:110683デフォルトの名無しさん
2008/01/19(土) 05:38:420684デフォルトの名無しさん
2008/01/22(火) 15:43:560685デフォルトの名無しさん
2008/01/25(金) 20:14:59あればコンピューターで解析させるのに楽
0686デフォルトの名無しさん
2008/01/26(土) 03:50:340687デフォルトの名無しさん
2008/01/26(土) 08:42:190688デフォルトの名無しさん
2008/01/26(土) 09:01:480689デフォルトの名無しさん
2008/01/26(土) 10:05:40069024歳
2008/01/26(土) 12:06:280691デフォルトの名無しさん
2008/01/26(土) 12:17:330692デフォルトの名無しさん
2008/01/26(土) 19:00:44ジャバって言語がいいらしいよ
0693デフォルトの名無しさん
2008/01/26(土) 21:18:11っていう まーくあっぷ げんご
が いいらしい よ
0694デフォルトの名無しさん
2008/01/26(土) 21:19:10エレガントにそれを取り込んだJavaに不可能はありません。
0695デフォルトの名無しさん
2008/01/27(日) 14:45:28どーりで、話のレベルが低いと思った。
この業界って、普通30代後半からじゃないの?
0696デフォルトの名無しさん
2008/01/27(日) 14:51:240697デフォルトの名無しさん
2008/01/27(日) 15:08:590698デフォルトの名無しさん
2008/01/27(日) 19:06:470699デフォルトの名無しさん
2008/01/28(月) 06:11:250700デフォルトの名無しさん
2008/01/28(月) 08:31:170701デフォルトの名無しさん
2008/01/28(月) 09:01:430702デフォルトの名無しさん
2008/01/28(月) 13:22:01やーいおっさんおっさん!
0703デフォルトの名無しさん
2008/01/28(月) 13:23:460704デフォルトの名無しさん
2008/01/29(火) 15:19:390705デフォルトの名無しさん
2008/01/29(火) 21:03:240706デフォルトの名無しさん
2008/01/29(火) 21:12:11最近やってる研究とか読んだ論文とか
0707デフォルトの名無しさん
2008/01/30(水) 01:30:440708デフォルトの名無しさん
2008/01/30(水) 07:56:23年齢だけでも危ういのにそんなことできるかw
0709O大学
2008/01/30(水) 17:43:420710デフォルトの名無しさん
2008/01/30(水) 17:47:45岡山大学
大阪工大
大阪府立大
などなど・・・。
多すぎるw
○大学って言う意味だったらぶっころ
0712B大学
2008/01/30(水) 18:26:580713デフォルトの名無しさん
2008/01/30(水) 18:45:280714デフォルトの名無しさん
2008/01/30(水) 18:51:00以下NAIST出身の提供でお送りいたします。
0716デフォルトの名無しさん
2008/01/30(水) 18:59:490717デフォルトの名無しさん
2008/01/30(水) 20:35:400718デフォルトの名無しさん
2008/01/30(水) 20:43:320719デフォルトの名無しさん
2008/01/30(水) 23:39:170720デフォルトの名無しさん
2008/01/31(木) 13:47:580721デフォルトの名無しさん
2008/02/02(土) 22:22:480722デフォルトの名無しさん
2008/02/03(日) 03:04:320723デフォルトの名無しさん
2008/02/03(日) 17:55:54そんなこと聞いてなくて,実際に使ってみてどうなんだ?
0724デフォルトの名無しさん
2008/02/03(日) 22:23:56どのレベルかは・・・。
この業界に居れば、使うまでも無くわかるだろうに。
0725デフォルトの名無しさん
2008/02/03(日) 23:24:420726デフォルトの名無しさん
2008/02/04(月) 00:15:15精度はコーパス次第だろうけどね。
あれは一応関西の学生バイトをかき集めて人手で作ったものだから
それなりには出来るだろうね。
問題は、機械による、単語の同定どころか、発話区間の同定すら出来てない(コーパス構築は人手?)
状態で、どこまで出来るのかが問題。
まー、はっきり言ってしまえばダメだろうねw
0727孟宗
2008/02/04(月) 00:18:32凄い凄い。
0728デフォルトの名無しさん
2008/02/04(月) 00:23:23トレンドが読めなくなってきた。
0729デフォルトの名無しさん
2008/02/04(月) 00:26:44mp3データからの歌詞トランスクリプトの生成
0730728
2008/02/04(月) 01:19:33高校時代に趣味で作ったことがある。もちろん精度悪い。
そこから歌詞まで行くのは、色々別の過程が難しい気がしてならんw
0731デフォルトの名無しさん
2008/02/04(月) 01:36:04多分、特定したw
あのゴーストの作者か…。懐かしいな
0732デフォルトの名無しさん
2008/02/05(火) 07:08:260733デフォルトの名無しさん
2008/02/06(水) 02:45:540734デフォルトの名無しさん
2008/02/06(水) 05:21:12>>730も>>731も>>732も>>733も顔見知りなんだろ?
0735デフォルトの名無しさん
2008/02/06(水) 06:03:230736デフォルトの名無しさん
2008/02/06(水) 06:05:26NAIST出身の友達は居るが
0737デフォルトの名無しさん
2008/02/06(水) 07:54:00NAIST、京大、NICT、ATRあたりの関西の機関の人間が多いのは確かだろうな。
しかも、あの辺共同研究ばっかだし人材の移動もあるので、スレの人間は殆ど身内じゃね?
0738デフォルトの名無しさん
2008/02/06(水) 07:57:460739デフォルトの名無しさん
2008/02/06(水) 08:39:11英語処理ならそこそこ研究したが、日本語処理は正直わからん。
0740デフォルトの名無しさん
2008/02/06(水) 09:31:46俺の学部時代は、文字列(高速検索・動的処理)・統計処理(のごくごく一部)で終わった・・・orz
修士で伸ばせなかったら俺はおしまいだ・・・・。
周りのレベルがアレ(つーか論外)なので特に言われる事は無いんだが、
どう考えても大学出た後がヤバい。所詮ここはその程度の大学だし。。。
京大生の知り合いの仕事見てると、こいつには勝てないんじゃないかって
ある種の絶望を覚える・・・。
0741デフォルトの名無しさん
2008/02/06(水) 09:37:21ものの見方が全然違うよ
試しに自分よりIQが20低そうな相手を考えてごらん?
0742デフォルトの名無しさん
2008/02/06(水) 09:47:040743デフォルトの名無しさん
2008/02/06(水) 10:55:45全然
0744デフォルトの名無しさん
2008/02/06(水) 16:13:47お前には10年早いよ
0745デフォルトの名無しさん
2008/02/06(水) 18:08:22自覚があるだけマシ
周りのレベルに流される奴は、外を見ないからなぁ。
0746デフォルトの名無しさん
2008/02/06(水) 23:25:28プライドがあるだけたちが悪い
周りのレベルが低いとか言う奴は、自分の能力を見ないからなぁ。
0747デフォルトの名無しさん
2008/02/06(水) 23:34:23うぬぼれているならともかく。
0748740
2008/02/06(水) 23:50:33なるほどww
それは言えてるねw
でも、自分に対して低いとは言ってないよ?同じくらいかもしれないし、少し周りの方が高いかも知れない。
そもそもそんな狭いフィールドで比較なんてしてないんだからww
全体の中での自分の立ち位置を確認する為に、外を確認しただけ。それは自分の能力を把握する事ではなくて?w
俺も自分の能力をはっきりとは知らないわ。誰も知らないんじゃない?
でも他人よりは知ってるよ。
ところで、プライドとただの馬鹿の区別が付かない人が多いよね。
自覚とプライドも違う筈だよね。馬鹿馬鹿しい話だと思わないかい?
0749デフォルトの名無しさん
2008/02/07(木) 00:02:05自重・・・。
若いのはわかるけど、ちょっと喧嘩売ってるというか
君は色々無駄に人生苦労してそうだ。発言には気をつけような。
明らか>>740じゃないような。釣りなのか。
0750デフォルトの名無しさん
2008/02/07(木) 00:07:070752デフォルトの名無しさん
2008/02/08(金) 17:37:250753デフォルトの名無しさん
2008/02/08(金) 23:14:42ワロタ
0754デフォルトの名無しさん
2008/02/09(土) 00:07:590755デフォルトの名無しさん
2008/02/09(土) 22:25:50結局文系は俺だけのようだな
0756デフォルトの名無しさん
2008/02/10(日) 16:41:060757デフォルトの名無しさん
2008/02/10(日) 18:20:340758デフォルトの名無しさん
2008/02/10(日) 18:26:590759デフォルトの名無しさん
2008/02/10(日) 18:46:340760デフォルトの名無しさん
2008/02/10(日) 18:52:40自然言語処理の何をしたいの?
0761デフォルトの名無しさん
2008/02/10(日) 18:54:19商学系ですサーセン
0762デフォルトの名無しさん
2008/02/10(日) 18:54:51検索エンジンとかです。
0763デフォルトの名無しさん
2008/02/10(日) 19:31:530764デフォルトの名無しさん
2008/02/10(日) 19:33:310765デフォルトの名無しさん
2008/02/10(日) 20:02:08PowerSetのような自然言語理解の分野に手をかけたようなのもあるし。
0766757
2008/02/10(日) 21:18:14ぐぐってみた結果、文を要素にバラす形態素解析というのをやったあと意味を解析するらしい事はわかりましたが、
なにぶん無学なもので体系的に勉強しておきたいのです。
MeCab で形態素にバラした後に日本語の構文知識をどう適用したらいいのか途方にくれています。
0767デフォルトの名無しさん
2008/02/10(日) 21:36:46「確率的構文解析」でググれ。
0768デフォルトの名無しさん
2008/02/10(日) 22:09:140769デフォルトの名無しさん
2008/02/10(日) 22:14:12応用によっては形態素解析で表層情報だけあれば十分な場合も多々あるし
0770デフォルトの名無しさん
2008/02/10(日) 23:32:31とりあえず「。」で区切って文の配列をつくって、
最初の文と1/3あたりの文と2/3あたりの文と最後の文を表示する。
これだけでも結構つかえるぞ。
0771デフォルトの名無しさん
2008/02/11(月) 03:27:03前から疑問だったんだけど。
確かに自分でデータ作るときは「。」で判別してるけど
もっと、ちゃんとした方法があるはず。
ちゃんとした文じゃなくても
形態素や係り受けみたいな、コンピュータ的に扱える単位であればいいんだけど
それの文に相当するものってないよね。
0772デフォルトの名無しさん
2008/02/11(月) 07:45:36コーパス用意して、bigramかtrigramで終端モデルつくればいいんじゃね?
0773デフォルトの名無しさん
2008/02/11(月) 12:34:38宇宙戦隊バイグラム、とかありそうじゃん
0774デフォルトの名無しさん
2008/02/11(月) 12:53:35宇宙戦艦エヌグラム
宇宙刑事マルコフ
0775デフォルトの名無しさん
2008/02/11(月) 15:25:290776デフォルトの名無しさん
2008/02/11(月) 15:27:540777デフォルトの名無しさん
2008/02/11(月) 15:30:300778デフォルトの名無しさん
2008/02/11(月) 16:07:380779デフォルトの名無しさん
2008/02/11(月) 16:09:48なんか手錠が数珠つなぎになってそうだw
0780横レス
2008/02/11(月) 17:02:58それだと形態素解析もjuman限定になるしね
さすがに形態素解析にルールベースはきつい
(個人的には日本語構文解析だとルールベースのほうが結局得策な気はするけど)
0781デフォルトの名無しさん
2008/02/12(火) 02:37:19ルールベースの構文解析器を紹介してください。
0782デフォルトの名無しさん
2008/02/12(火) 09:12:41なんで?
0783デフォルトの名無しさん
2008/02/12(火) 13:15:390784デフォルトの名無しさん
2008/02/12(火) 13:22:52最長一致とかでは全然話にならないとかいうレベルなら確かにきついかも
0785デフォルトの名無しさん
2008/02/14(木) 18:49:170786デフォルトの名無しさん
2008/02/14(木) 21:47:34普通の係り受けと同格の区別までさせたければknpしかない
cabochaのは配布ページにも書いてあるけどあくまでも「簡易」同格判別
というか中の人のweb日記によると次バージョンではなくなってるってさ
ついでにボヤキ
しかしjuman品詞体系は癖が強くてもう嫌じゃー
誰かmecab-ipadic形態素解析使ってknpっぽいことするの作ってBSD or LGPL or GPLで公開してくれない?
0787デフォルトの名無しさん
2008/02/16(土) 20:51:130788デフォルトの名無しさん
2008/02/16(土) 21:22:230789デフォルトの名無しさん
2008/02/16(土) 21:39:07先行研究例があったら教えてほしい
0790デフォルトの名無しさん
2008/02/16(土) 21:43:28それは自然言語処理というよりむしろ計算言語学の領域と思われ
0791デフォルトの名無しさん
2008/02/17(日) 08:42:34歴史的仮名遣の形態素解析は計量言語学になるん?
水谷先生あたりがやってないですかねとあてずっぽうを言ってみる。
0792デフォルトの名無しさん
2008/02/19(火) 13:47:15見つからない。うちの研究室では、今回の出張は4名が限度だ。
0793デフォルトの名無しさん
2008/02/20(水) 21:52:330794デフォルトの名無しさん
2008/02/20(水) 22:02:380795デフォルトの名無しさん
2008/02/20(水) 22:10:510796デフォルトの名無しさん
2008/02/20(水) 22:13:430797デフォルトの名無しさん
2008/02/20(水) 22:18:520798デフォルトの名無しさん
2008/02/20(水) 22:19:400799デフォルトの名無しさん
2008/02/20(水) 22:22:53読む本探してる人間に
0800デフォルトの名無しさん
2008/02/20(水) 22:24:420801デフォルトの名無しさん
2008/02/20(水) 22:27:37自然言語処理の基礎なんじゃないの?
0802デフォルトの名無しさん
2008/02/20(水) 22:31:22そうでない領域もある。
さあ、適切なスレをみつけてそっち逝け。
0803デフォルトの名無しさん
2008/02/21(木) 03:22:56恥ずかしいやつ
0804デフォルトの名無しさん
2008/02/21(木) 07:33:210805デフォルトの名無しさん
2008/02/21(木) 07:35:090806デフォルトの名無しさん
2008/02/21(木) 09:29:07知ってる人いる?(笑)
0807デフォルトの名無しさん
2008/02/21(木) 10:30:01http://www.inference.phy.cam.ac.uk/mackay/itila/
0808デフォルトの名無しさん
2008/02/21(木) 10:38:23助教とか准教授がこういうアホな煽りしてるかと思うと、涙が出てくる
0809デフォルトの名無しさん
2008/02/21(木) 17:59:480810デフォルトの名無しさん
2008/02/21(木) 19:56:04ありがとう。
今日その本を図書館で見たら、結構出来が良かった。
買ってみる。
0811デフォルトの名無しさん
2008/02/21(木) 23:58:000812デフォルトの名無しさん
2008/02/22(金) 02:50:14日本語版ないの?
0813デフォルトの名無しさん
2008/02/22(金) 07:28:080814デフォルトの名無しさん
2008/02/22(金) 07:37:060815デフォルトの名無しさん
2008/02/22(金) 10:34:12無ければ洋書を読む。あるなら日本語を読む。
それの何が悪い。
むしろ、洋書も和書も読めないヤツが山ほど居るわけだが・・・。
彼らは自覚あるんだろうか。
0816デフォルトの名無しさん
2008/02/22(金) 19:08:42これはどう?
0817デフォルトの名無しさん
2008/02/22(金) 19:15:54学生ならともかく、研究者が原著にあたらないのは問題あると思われ。
ましてや>>814のような行為は言語道断だろ。
0818デフォルトの名無しさん
2008/02/22(金) 19:48:38煽れば答えがもらえると思ってる時点でろくなもんじゃねぇ
0819デフォルトの名無しさん
2008/02/22(金) 20:16:07スレ違いで粘着して情報を要求しておいて洋書だとブーたれるヤツが一人いるわけだが・・・。
彼は自覚あるんだろうか。
0820デフォルトの名無しさん
2008/02/22(金) 20:45:540821デフォルトの名無しさん
2008/02/22(金) 23:30:37いい年して幼稚な煽りするなよ・・・
0822デフォルトの名無しさん
2008/02/23(土) 06:13:430823デフォルトの名無しさん
2008/02/23(土) 14:30:17だから自分の年考えろよ、恥ずかしくならんのか?
0824デフォルトの名無しさん
2008/02/23(土) 14:31:240825デフォルトの名無しさん
2008/02/23(土) 14:32:370826デフォルトの名無しさん
2008/02/23(土) 14:46:230827デフォルトの名無しさん
2008/02/23(土) 15:14:44http://www.cs.colorado.edu/~martin/slp2.html
0828デフォルトの名無しさん
2008/02/23(土) 15:55:53第1版の正誤表は凄まじいことになってたからな。
ほとんど本文と同じぐらいの分量の正誤表ってどうよ。
0829デフォルトの名無しさん
2008/02/23(土) 16:26:550830デフォルトの名無しさん
2008/02/23(土) 16:51:510831デフォルトの名無しさん
2008/02/23(土) 16:52:35Martinはカンファレンスで直接会ったことあるけどいい人だよ。
0832デフォルトの名無しさん
2008/02/23(土) 20:29:520833デフォルトの名無しさん
2008/02/23(土) 20:53:240834デフォルトの名無しさん
2008/02/23(土) 22:42:27日本語が読めません・・・!!!
0835デフォルトの名無しさん
2008/02/23(土) 22:46:06大丈夫
それは日本語じゃないから読めなくて当然
0836デフォルトの名無しさん
2008/02/23(土) 23:15:37現職もスタンフォード大の(コンピュータ・
サイエンスではない)言語学科?
0837デフォルトの名無しさん
2008/02/24(日) 01:18:302chの対象のスレッド内の形態素集合からその板の形態素集合の平均を引いて
求めた特徴的形態素集合の上位のものを抜き出して、その形態素を含む行
およびそれにレスしている行だけを抜き出して要約を作成するとかやったなあ・・・。
うまく動いたけどすごく重かった。
0838デフォルトの名無しさん
2008/02/24(日) 01:25:04こんだけのことをするためにえらく苦労した思い出が・・・。
uniqueTokenMap = tokenMap(target) - TokenMapAverage(board)
uniqueTokens = sort(uniqueTokenMap)[0:20]
uniqueResList = grepRes(target, uniqueTokens)
print(uniqueResList)
0839デフォルトの名無しさん
2008/02/24(日) 09:32:360840デフォルトの名無しさん
2008/02/24(日) 18:31:180841デフォルトの名無しさん
2008/02/24(日) 18:38:510842デフォルトの名無しさん
2008/02/25(月) 10:11:200843デフォルトの名無しさん
2008/03/06(木) 16:57:070844デフォルトの名無しさん
2008/03/07(金) 15:20:11http://journal.mycom.co.jp/articles/2007/12/10/q-go/index.html
0845デフォルトの名無しさん
2008/03/07(金) 19:46:220846デフォルトの名無しさん
2008/03/08(土) 13:31:540847デフォルトの名無しさん
2008/03/08(土) 15:21:39必ずしも自然言語で問い合わせるのが楽かと言えば、俺はNoだと思うし。
コンピュータを操作するのに、対話型にすべきとか言ってるのも、俺は正気じゃないと思う。
アプリケーションの起動に、音声認識で起動するのすら煩わしいのに、対話なんかしたら・・・。
何でも人に近づけりゃ良いってもんじゃねぇぞ。
使いどころがわかってない商売人と、研究者が組んだってこの程度しか出てこないんだろうが・・・。
0848デフォルトの名無しさん
2008/03/08(土) 17:41:08漏れもそう思う
ただGUIvsCUIみたく結局はとっつきのいい方に流れていく気がしないでもない
それぐらいだったらせめて日本人がデファクトスタンダードとって大儲けして呉とも思う
0849デフォルトの名無しさん
2008/03/08(土) 18:41:500850デフォルトの名無しさん
2008/03/08(土) 22:40:33結局は人間相手に使う言葉とは別物になってしまうという罠
0851デフォルトの名無しさん
2008/03/13(木) 09:48:100852デフォルトの名無しさん
2008/03/13(木) 11:36:21セマンティック(笑)
0853デフォルトの名無しさん
2008/03/13(木) 12:19:430854デフォルトの名無しさん
2008/03/13(木) 14:40:42SKKやらTUT-Codeみたいなのは知らんが。
0855デフォルトの名無しさん
2008/03/14(金) 09:10:09人工知能(笑)
0856デフォルトの名無しさん
2008/03/17(月) 18:57:44http://sourceforge.jp/projects/naist-jdic/
このスレって実はnaist関係者いないんじゃね?
0857デフォルトの名無しさん
2008/03/17(月) 19:38:18naist出身の知り合いが居るだけだ
0858デフォルトの名無しさん
2008/03/17(月) 21:17:110859デフォルトの名無しさん
2008/03/18(火) 14:43:520860デフォルトの名無しさん
2008/03/18(火) 19:10:18どんな感じなの?
東大
京大
NAIST
阪大
徳島大
鳥取大
こんな感じ?
0861デフォルトの名無しさん
2008/03/18(火) 20:18:47ttp://nlp2008.anlp.jp/program.html
の著者名(所属)の所属をカウントしてみれば、多少の傾向はわかるかもしれない。
本数が多い→活発,が成り立つかは疑問だが。
明日の懇親会にでもでてみれば名無しさんにも会えて
各組織の活発さもわかるかもしれないよ・・・。
0862デフォルトの名無しさん
2008/03/18(火) 21:29:09そんなドメな学会、あんまり参考にならないのでは。
0863デフォルトの名無しさん
2008/03/18(火) 22:16:140864デフォルトの名無しさん
2008/03/19(水) 12:11:03下3つは無い
0865デフォルトの名無しさん
2008/03/19(水) 19:39:38活発かといわれると、下2つはありえない。
それ以前に、阪大は自然言語処理の分野では大して・・・。
何故そこに阪大があるのか理解できない。
0866デフォルトの名無しさん
2008/03/21(金) 08:23:360867デフォルトの名無しさん
2008/03/21(金) 22:27:21プログラムをみるとATRが目立つな
0868デフォルトの名無しさん
2008/03/22(土) 01:37:53質の悪い人材・バイトを大量に引っかき集めとるからな・・・
0869デフォルトの名無しさん
2008/03/22(土) 06:57:330870デフォルトの名無しさん
2008/03/22(土) 07:55:170871デフォルトの名無しさん
2008/03/22(土) 10:03:240872デフォルトの名無しさん
2008/03/22(土) 12:55:580873デフォルトの名無しさん
2008/03/22(土) 17:38:160874デフォルトの名無しさん
2008/03/23(日) 17:35:31外国人留学生をもっと取り入れろ。
三流理系は「作る系」に導入し生産的な環境を拡大せよ。
それすら出来ないエセ理系は、諦めろ。
文系はトップクラスの一部だけで良い。
本当にこのままでは堕ちる一方だぞ。
別にATRに対してじゃなくて、全体に対して言ってることだけれども。
成果稼ぎとインチキ研究ばっかしてお茶濁してるんじゃねぇよ。
俺が学生の頃(7年ほど前)から、相当堕ちてしまったと”現場”で感じるようになった。
つーことは、きっと教育・育成の現場レベルではもっと酷いんだろうな。
これでは日本の機関から人材を取る気が起きない。
0875デフォルトの名無しさん
2008/03/23(日) 17:56:140876デフォルトの名無しさん
2008/03/23(日) 18:06:380877デフォルトの名無しさん
2008/03/23(日) 20:02:04留学生使えばいいじゃんって話でしょ。
>>874の話は2年くらい前の研究現場に居るとかなり同意出来るんだが、
問題は、既に学生を指揮する立場の研究者の質まで落ちつつあるという事
優秀な人には相当逃げられてる。
上が悪いから、もうどうにもならん。
0878デフォルトの名無しさん
2008/03/23(日) 21:41:34どうせ帰るし、日本で就職したとしても奴らは日本で消費せずに本国に送金するだけだろ
0879デフォルトの名無しさん
2008/03/24(月) 02:26:33その後国に帰ろうがどこに就職しようが知ったこったねぇ。
選択肢を増やし極力優秀な人材を使うべきだ。と言う話だろうに。
0880デフォルトの名無しさん
2008/03/24(月) 05:55:090881デフォルトの名無しさん
2008/03/24(月) 07:20:37アメリカのように留学生にとって魅力的な大学が増えれば、
日本にいる留学生の質も上がるんだろうけどね。
あと、せっかくいい留学生が来ても、学生は英語で日常会話できないし、
教授も英語で講義できないしで、すぐに孤立してやる気をなくしてしまう。
まずは優秀な教授を育てるところから始めないと。
0882デフォルトの名無しさん
2008/03/24(月) 10:01:54英語できない教授なんているの?
どこ大?
0883デフォルトの名無しさん
2008/03/24(月) 13:19:330884デフォルトの名無しさん
2008/03/24(月) 15:42:210885881
2008/03/24(月) 19:37:54もちろん教員は英語普通に話せるよ。
でも授業を全部英語でやるのはまた別の話。
0886デフォルトの名無しさん
2008/03/25(火) 00:14:520887デフォルトの名無しさん
2008/03/25(火) 00:21:090888デフォルトの名無しさん
2008/03/25(火) 06:06:180889デフォルトの名無しさん
2008/03/25(火) 07:31:42どこ大?
0890デフォルトの名無しさん
2008/03/25(火) 08:16:57日本人が大半の現状でやる意味もないけどな
なんて言ってると日本語のわからない外人が入ってこないから負のスパイラルなんだけどな
0891デフォルトの名無しさん
2008/03/25(火) 16:06:06どこの話? その認識。いまどき珍しいというか遅れてるというか。
0892デフォルトの名無しさん
2008/03/25(火) 18:44:39言語が何だからどうこうなると言う話でもない。
何か、英語でやればメリットでもあるというの?
この辺はプログラミング言語にも言えることだが・・・。
0893デフォルトの名無しさん
2008/03/25(火) 20:05:04学術界の共通言語は英語です。
日本人学生は英語でのディスカッションの経験が少なすぎ。
だから教授になっても対等な勝負ができない。
たまにがんばってる先生がいるかと思うと、ヨーロッパやアメリカ帰りだったりするし。
0894デフォルトの名無しさん
2008/03/25(火) 20:32:21自分でその場その場で言語選択出来るほど、外国語が使えるならな。
残念ながら、英語が出来ない学生が多いので、練習の意味も込めてやるべき。
プログラミング言語だって、VBでもC♯でも、その場で適しているならば使えば良いとは思うし
Cで全てやるのが偉いわけでもないが
VBしか出来ないなら問題。
んで、やらないだけって言ってる人は
基本的に、やれないと俺は思う。
経験が足りない人間が外国語で高度なディスカッション出来るとは思えない。
0895デフォルトの名無しさん
2008/03/25(火) 20:35:190896デフォルトの名無しさん
2008/03/26(水) 01:23:370897デフォルトの名無しさん
2008/03/26(水) 07:41:29ってことになるからそういう話はイクナイ
でも実際俺がいたところはそうだったw
0898デフォルトの名無しさん
2008/03/26(水) 16:08:310899デフォルトの名無しさん
2008/04/02(水) 09:08:06それって http://www.slc.atr.jp/nlp/members/ のことなの?
質の悪い人材って誰?
0900デフォルトの名無しさん
2008/04/02(水) 11:46:07あと、ATRつっても自然言語処理とは限らない。似た研究が結構あるからそっちかもしれん。
>>898
文系の大学だと山ほどあるなw
0901デフォルトの名無しさん
2008/04/03(木) 22:27:35いた人達だと思うぞ。
0902デフォルトの名無しさん
2008/04/10(木) 20:58:250903デフォルトの名無しさん
2008/04/12(土) 00:33:01工藤さんが卒業されたインパクトとか含めて、どんな感じなんでしょうか。
0904デフォルトの名無しさん
2008/04/12(土) 02:35:430905デフォルトの名無しさん
2008/04/12(土) 16:32:040906デフォルトの名無しさん
2008/04/12(土) 18:43:36不安だ
0907デフォルトの名無しさん
2008/04/12(土) 18:50:450908デフォルトの名無しさん
2008/04/12(土) 20:49:06工藤氏やたつを氏が在籍したのは昔のこと。
今は特に目立つ人材は居ないのでは。
0909デフォルトの名無しさん
2008/04/12(土) 22:04:28在籍中も、そりゃ無名ではなかったけど、そんなに有名でもなかったし。
そもそも、形態素解析器が一般人(非研究者)にメジャーになったのが、彼らが辞めた後だからなぁ・・・。
それ以前だと、高林氏のnamazuとかkakasiで有名だったか。
何にしても、研究のレベルはともかく、
成果物を広く使えるようにしている研究室は強いな。
0910デフォルトの名無しさん
2008/04/30(水) 03:01:03うちの主力が鬱入っちゃって潰れたもんだから。。。
俺らが無能だから悪いんだがね。
0911デフォルトの名無しさん
2008/04/30(水) 05:37:35大体1匹狼状態を作ると、ますますそいつ以外触れなくなって悪循環に陥る。
最初は、些細なきっかけなんだがな・・・
プロジェクト管理やってるやつの責任は重大だよ。
0912デフォルトの名無しさん
2008/05/25(日) 14:14:41大多数のワナビーって構図になるよね。
by ワナビーの一人
0913デフォルトの名無しさん
2008/05/28(水) 01:51:200914デフォルトの名無しさん
2008/05/28(水) 02:00:200915デフォルトの名無しさん
2008/05/28(水) 16:34:32ワナビー的には、どの辺が難しいというか、壁を感じて
いるんでしょう?
FSNLPと東大出版会の「確率的言語モデル」をきちんと読めば、
標準的な所はかなりすっと行くような気もするけど..。
0916デフォルトの名無しさん
2008/05/28(水) 17:00:37それはお勉強。誰でもできる。問題なのは研究。これは才能がいる。
0917デフォルトの名無しさん
2008/05/28(水) 20:57:14912の人はどう思っているのかな。
0918デフォルトの名無しさん
2008/05/28(水) 21:37:230919デフォルトの名無しさん
2008/06/05(木) 20:10:350920デフォルトの名無しさん
2008/06/08(日) 09:37:21Speech and Language Processing (2nd Edition) (Hardcover)by Daniel Jurafsky (Author), James H. Martin (Author)
ttp://www.amazon.com/Speech-Language-Processing-Daniel-Jurafsky/dp/0131873210
Hardcover: 1024 pages
Publisher: Prentice Hall; 2 edition (May 26, 2008)
Language: English
ISBN-10: 0131873210
ISBN-13: 978-0131873216
Product Dimensions: 9.4 x 6.9 x 1.6 inches
Shipping Weight: 3.5 pounds (View shipping rates and policies)
Average Customer Review: No customer reviews yet. Be the first.
Amazon.com Sales Rank: #22,897 in Books (See Bestsellers in Books)
Popular in these categories: (What's this?)
#2 in Books > Computers & Internet > Computer Science > Artificial Intelligence > Machine Vision
#2 in Books > Computers & Internet > Software > Voice Recognition
#2 in Books > Computers & Internet > Software > Business > Speech Processing
0921デフォルトの名無しさん
2008/06/18(水) 23:53:19いや、その本頑張って読んでるけど難しすぎ…。
今EMアルゴリズムのところで詰まってます。
44ページの(2.33)なのですが、
「また、ジェンセンの不等式より、次が成り立つ。
Σ[y]P[θ](y|x[i])(log(P[θ](y|x[i])/P[θ ̄](y|x[i])) >= 0
」
とありますが、これは 8ページ、(1.20)・(1.21)の
「P(x)、Q(x) を確率分布とするとき、不等式
log(x) <= x - 1
より、次が成り立つ。
Σ[x]P(x)log(Q(x)/P(x)) <= Σ[x]P(x)((Q(x)/P(x)) - 1) = Σ[x]Q(x) - Σ[x]P(x) = 0
」
これの、log の中で Q(x) と P(x) が入れ替わって、符号が逆に→不等号が逆になった
パターンですよね。
Jensen の不等式は使ってないように見えるのですが…
私の勘違いなんでしょうか。
使っているのが Jensen の不等式だろうと、log(x) < x - 1 だろうとどっちでも
いいじゃないかと言われそうですが、気になって先に進めません。
おわかりの方いらっしゃったらよろしくお願いします。
0922デフォルトの名無しさん
2008/06/19(木) 02:05:32>>921に書かれている通り、別にJensenの不等式を
使わなくても証明できるね。
無理に?使うなら、Jensenの不等式はf(x)が凸なとき
E[f(x)]≦f(E[x])ということなので、f(x)=log(x)として
-Σplog(p/q)=Σplog(q/p)=E_p[log(q/p)]
≦log(E_p[q/p])=log(Σq/p・p)=log(1)=0
よってΣplog(p/q)≧0、
でいいんじゃないかな。
0923デフォルトの名無しさん
2008/06/19(木) 02:16:03でも全部そうだってことではないので、がんがれ。
0924デフォルトの名無しさん
2008/06/19(木) 23:49:10なるほどー。わかりました。
それにしても、EM アルゴリズムのあたりは難しい…。
式も補って読まないといけないし。
HMM に適用する場合について読んでいるのですが、
117ページの(4.27)は
まず素直に適用すると
Q(M, M ̄) = Σq[1, T]P(q[1, T]|o[1, T], M)log(P(o[1, T], q[1, T]| M ̄)
だけど、P(q[1, T], o[1, T]|M) = P(q[1, T]|o[1, T], M) * P(o[1, T]|M) だから
P(q[1, T]|o[1, T], M) = P(q[1, T], o[1, T]|M) / P(o[1, T]|M)
なので、(4.27)の
Q(M, M ̄) = (1 / P(o[1, T]|M)Σq[1, T]P(q[1, T], o[1, T]|M)log(P(o[1, T], q[1, T]| M ̄)
となるわけですよね。
こうやって書くといかにも当たり前のようだけど、本の中でもう1〜2行でいいから
途中の式を挟んでくれたらわかりやすいのに…と思うけど、
このへんがすらすらわかるぐらいじゃないと NLP やっていけないのだろうか…
0925デフォルトの名無しさん
2008/06/20(金) 07:08:05まあ論文書こうと思ったら、それぐらい導出できないとなあ。
でも一番大事なのはEMをどう適用するかだと思うよ。
0926デフォルトの名無しさん
2008/06/22(日) 01:11:39115ページの前向き・後ろ向きアルゴリズムのところで、
(4.21)の式の 2行目から 3行目で、分母が
P(X[t] = q[i], X[t + 1] = q[j], o[1, T] | M)
= α[t](i) * a[i, j] * b[j](o[t + 1])β[t + i](j)
となっているのはどうしてでしょうか。
α[t](i) は「モデル M が o[1, t] を生成して、時刻 t で状態 q[i] に到達する確率」(110ページ)、
β[t](i) は「状態 q[i] から始まる状態遷移によって o[t + 1, T] が生成される確率」(112ページ)
ですよね。
ということは、上の式は単純に
α[t](i) * β[t](j)
となりそうな気がするのですが。
よろしくお願いします。
0927デフォルトの名無しさん
2008/06/24(火) 01:20:42もう少し考えてみたのですが、
β[t](j) には b[j](o[t + 1])、つまり t + 1 の時点で状態 q[j] がo[t + 1] を生成する
確率が入っていないですね。
でも、そう考えると 115ページ (4.21) 式の分母は
α[t](i)b[j](o[t + 1])β[t + 1](j)
となりそうです。
やはり、a[i, j] は余計な気がするのですが…。
引き続き、おわかりの方がいらっしゃったらお願いします。
0928デフォルトの名無しさん
2008/06/24(火) 01:35:17最初の β[t](j) は β[t + 1](j) の間違いです。
まとめると、
β[t](i) は i から始まる状態遷移が o[t + 1, T] を生成する確率。
つまり、
α[t](i) * β[t](i)
が、状態 i を通った確率。
i から j に状態遷移した確率を求める時、β[t + 1][j] には
q[j] が o[t + 1] を生成した確率が含まれていないので、
α[t](i) * b[j](o[t + 1]) * β[t + 1](j)
になる。
これが私の考えなのですが、115ページの (4.21) と比べると a[i, j] が足りません。
よろしくお願いします。
0929915=922
2008/06/24(火) 21:50:21周りの人か、先生に聞いた方がいいと思う。
それより、書き込みを見ていて何となく感じるのですが、
日本語だからという理由で、最初に「確率的言語モデル」を頭から
読もうとしていないだろうか。
その必要はないと思う。
それより、FSNLP(これは複雑な計算はないし、個人的には熟読に値すると
思う)を読んで、>>925の人が言っているように、何がしたいのか、次に
何を読めばいいのか、を考えるのがお薦め。
その時に、EMなりHMMなりを理解する参考書の一つとして
「確率的言語モデル」を使うのがいいんじゃないだろうか。
もし本の記述がわからなくても、検索すれば、日本語でも
もっといい説明が見つかるはず。
実際、EMについて知りたければNeal&Hinton(1998)を読んだ方がいいし、
HMMについてはRabiner(1989)の素晴らしいチュートリアルを読むべき。
どちらも、Googleで調べればわかります。
ちなみに、>>924-928のような質問に答えてくれる人が周りに
いない場合は、ぜひNAISTへどうぞ、
とOB乙な書き込みをしてみるテスト。w
0930デフォルトの名無しさん
2008/06/25(水) 00:09:54アドバイスありがとうございます。
FSNLP も読んでいるのですが、質問するなら日本語の本からのほうがいいかと思って
「確率的言語モデル」のほうを例に出しました。
ちなみに>>928までの問題は自己解決しました。
なんであんな馬鹿なことを書いたのか…
「モデルが q[i] を通って o[1, t] を生成した尤度」と
「モデルが q[i], q[j] を通って o[1, t] を生成した尤度」を比べるのだから、
当然 a[i, j] は掛けないといけないですね。
HMM と EM をやっているのは、CRF・MRF(まだ到達していないので違いすら
よくわかっていませんが)による構文解析をやりたいと思っているからです。
具体的には、
http://chasen.org/~taku/publications/nl157.pdf
「部分木に基づくマルコフ確率場と言語解析への適用」を理解することを
とりあえずの目標にしています。
そのためには、形態素解析の HMM からCRF につながる流れと、
構文解析の内側・外側アルゴリズムをまずは勉強しなければと、
HMM と HMM のパラメータ推定のところをやっているわけです。
道は遠い…。
質問できる人、いないですねぇ。
NAIST はちょうど来月受けるところです。
京大と迷っているのですが…。
OB の方お勧めということでしたら心強いですね。
ですが、当面は質問できる人がいないという状況は変わらないので、
どうしてもわからないことがあったら、答えを期待せずにまた書いてみるかもしれません。
0931デフォルトの名無しさん
2008/06/28(土) 01:55:04色々な意味でいいんじゃないかな。
少なくとも、名前で選ばない方がいいと思う。
ちなみに、工藤氏もそうですが、NAISTで機械学習的に活躍している人
の多くは京大・東大から、自分の大学の院を選ばずにNAISTに
来た人達(結果的に)、ということに注意。
個人的には、係り受け解析は重要な課題ですが、
ある意味「業界」的なテーマなので、本当に自分が興味があることは
係り受け解析なのか、もしそうだとしたら現状の何が問題なのか、を常に
考えておいて欲しいなあと思いました。
先生にも質問できないと厳しいね。
頑張って下さい。
0932デフォルトの名無しさん
2008/06/29(日) 14:43:09構文解析そのものを研究課題にしたいのか、
君の研究課題で利用する技術要素として構文解析があるのか、
ちゃんと落ち着いて考えておいたほうがいいよ。
前者の世界に踏み込むのなら、>>931の言う通り業界全体を向こうに回して勝負する覚悟がいるし、
後者の場合には自分のやりたい本当の課題のほうをしっかり説明できないと誤解されることになる。
0933デフォルトの名無しさん
2008/06/29(日) 16:30:54やりたいのは中国語の構文解析です。
中国語は構文解析の前に品詞を確定してしまうとうまくいかないので、
形態素解析→構文解析ではなく、単語区切り→品詞タグ付け&構文解析という
流れでできないかと。
京大は NICT の中国語翻訳を担当しているということなので、それが志望理由になっています。
用例翻訳を中心とするようですが、よい用例翻訳のためにはよい構文解析が
必要だというのは当たり前のことですよね。
どうもこのへんはおろそかにされている感がありますが。
ところで、私は新しいことがやりたいというよりも、どちらかというと「応用」に
興味があるんですけど、これって研究の場である大学院ではどうなんでしょうね。
自然言語処理をやっていると、人による能力の違いを痛感します。
自分がいくら勉強したところでたかがしれている。
それでも、優れた人の研究成果を利用して、実地に応用するという
一段階下のことならできるかもしれない。例えば、>>930の論文を理解して、
それを例えば中国語の形態素・構文解析に応用できれば、自分程度の人間にとっては
上出来だ、というような発想で。
0934デフォルトの名無しさん
2008/06/29(日) 21:20:20研究開発としてはいいと思うよ。すごく面白いと思う。
ただ、それが学位論文に直結するかどうかは別問題。
ただシステム作りましただけじゃ学位は出ない。
自分が学術界にどんな貢献ができるのかを考えてみて、
どういう形で研究として成立するのか、何を成果とするのか、
そこが大事じゃないかな。
0935デフォルトの名無しさん
2008/07/01(火) 00:53:40ずばり、そういう人のために修士課程があるんじゃないかな。
全員が世界最先端の研究をする必要はないし、専門知識をベースにして
「応用」する人も社会に必要だと思う。
研究としては、>>934で心配されていることもありますが、
中国語に特有の事情や知識というものが必ずあるはずなので、
それをいかに洗い出して統計的にうまく扱うかで研究のセンスが問われる
というか、それで修士としては充分良い研究になると思う。
それと、上であがっている論文は特に内容が濃い方だし、
工藤氏も最初からこのレベルの論文が書けた訳ではないと
思うので、あまり恐れすぎなくてもいいのでは..という気もします。
修士なら就職した後でも、もしまた研究ができる/したいと思うことがあれば、
社会人で博士課程に入るという道もあるんじゃないでしょうか。
0936デフォルトの名無しさん
2008/07/16(水) 10:11:09どうしてそろいもそろって質問のメールに答えてくれないんだろう
やっぱりなれ合いなわけ?
0937デフォルトの名無しさん
2008/07/16(水) 10:31:200938デフォルトの名無しさん
2008/07/16(水) 11:51:49この業界(分野)には向いていないと思われ。
0939デフォルトの名無しさん
2008/07/16(水) 14:24:250940デフォルトの名無しさん
2008/07/16(水) 18:12:15メールが来たことないって奴は
レベルが低くて当てにされてないんだけどさ
俺の知り合いでそいつが知っているであろう名前を出してメールを書くと
やっと返事を寄越す
持ち回りで年次大会優秀発表賞やら長尾賞やら貰ってるようなのばっかりだ
0941デフォルトの名無しさん
2008/07/16(水) 19:39:550942デフォルトの名無しさん
2008/07/16(水) 21:52:560943デフォルトの名無しさん
2008/07/16(水) 22:08:450944デフォルトの名無しさん
2008/07/17(木) 05:59:071つ1つ丁寧に返してるぞ。
大物になっちゃうと・・・
やっぱ人ってそうなっちゃうんだろうなぁ・・・。
0945デフォルトの名無しさん
2008/07/17(木) 09:20:54いや、物理的な制約じゃないの?
そんな立場になったことがないからわからんけど、一日に数十通も来たら手に負えないだろ。
0946デフォルトの名無しさん
2008/07/17(木) 09:24:400947デフォルトの名無しさん
2008/07/17(木) 10:21:59自分のライブラリや論文やら手法を広めたいと思うなら
そういう考えを持つべきでない
広めたいと思うけど対価が必要だ、と考えている奴に限って
Linuxの上でgccやGLibを使って平気な顔をしている
仲間内だけでライブラリとデータを使い回し論文を量産
他者の質問には答えない
だから馴れ合いって言ってる
0948デフォルトの名無しさん
2008/07/17(木) 10:39:45いいから、宿題は自分の力で解けや。
0949デフォルトの名無しさん
2008/07/17(木) 10:56:300950デフォルトの名無しさん
2008/07/17(木) 12:02:11> 他者の質問には答えない
図星だな
0951デフォルトの名無しさん
2008/07/17(木) 15:55:080952デフォルトの名無しさん
2008/07/17(木) 16:01:02こんなところで悔しがってもどうにもならないし
期待を裏切られたくらいで悪態つくような奴は相手しなくて正解だろうよ
0953デフォルトの名無しさん
2008/07/18(金) 00:07:53受かったから書くけど、試験があんなんだと不安だなぁ。
OBの人のページにも受ければ受かるみたいに書いてあったし。
どうやって質を維持しているのか不思議だ。
一般社会での無名さがいい方向にフィルタとして働いてるのかな。
0954デフォルトの名無しさん
2008/07/18(金) 08:38:130955デフォルトの名無しさん
2008/07/18(金) 08:43:07勝手にコード書き変えておきながら「論文と違う結果が出たぞ。」とか
どうでもいいメールが増えるんだよな。
こういうのにいちいち対応すると研究する時間がなくなる。
0956デフォルトの名無しさん
2008/07/18(金) 11:00:24>コード公開したらしたで、「うちの環境でコンパイルできん。なんとかしろ」
コンパイルできないような欠陥ソースを公開するのが悪い
>こういうのにいちいち対応すると研究する時間がなくなる。
こんな対応のメールを書くのに何日もかからないだろ
要領悪すぎw
0957デフォルトの名無しさん
2008/07/18(金) 11:39:290958デフォルトの名無しさん
2008/07/18(金) 12:29:31わかってないなあw
どうでもいいtoyプログラムならまだしも、マジメな自然言語処理で高効率めざしていて
sparcでもx86でもalphaでも、bsdでもlinuxでもultrixでも他のunicenでも動くソース書くのが
どれだけ大変かわかるか?
0959デフォルトの名無しさん
2008/07/18(金) 12:45:170960デフォルトの名無しさん
2008/07/18(金) 14:10:39気にするな。
自分の環境が唯一で、皆同じだと思ってるアフォが居るのは
そのアフォ以外には良く知られた事実だ。
0961デフォルトの名無しさん
2008/07/18(金) 16:05:27こいつ本当にコンパイルできたんか?ってのもあるけどな・・・。
0962デフォルトの名無しさん
2008/07/18(金) 17:42:25おめ。
俺の時は倍率4倍だったよ。
まあぶっちゃけ、玉石混淆ということかも。
一般社会にとってはわりと無名でもいいが、学部生には有名でないといかんね。
0963デフォルトの名無しさん
2008/07/18(金) 23:30:49自分の印象としては、Juman・KNP以降それにしがみついてばかりで、
格フレームの抽出だの些細なことに汲々としているという感じだけど。
0964デフォルトの名無しさん
2008/07/18(金) 23:33:08NLP自体全般的に些細なことに汲々としているという感じジャマイカ?
0965デフォルトの名無しさん
2008/07/19(土) 08:46:090966デフォルトの名無しさん
2008/07/19(土) 10:51:550967デフォルトの名無しさん
2008/07/22(火) 08:08:11そりゃつくるのは大変なことさ。
でも評価論文にするためには些細なことに汲々とせざるを得ないのさ。
0968デフォルトの名無しさん
2008/07/29(火) 11:51:550969デフォルトの名無しさん
2008/07/29(火) 11:54:40評価では些細な違いでしか差が出ないだろ
評価論文ってのはそういう些細な違いを針でつつくようなことをしなきゃならないんだよ。
0970デフォルトの名無しさん
2008/07/29(火) 13:08:16テンプレ改訂案とかあったらどうぞ
0971デフォルトの名無しさん
2008/08/01(金) 11:37:58諸先輩方、手取り足取り優しく教えてください
0972デフォルトの名無しさん
2008/08/05(火) 09:05:03このスレを見ている人はこんなスレも見ています。(ver 0.20)によると、
「【NAIST】電波お花畑で孤独なWinnyエロ動画 その3【NLP】」
ってことらしいけど。
0973デフォルトの名無しさん
2008/08/05(火) 12:45:19去年よりは面白そう。
0974デフォルトの名無しさん
2008/08/13(水) 22:24:50訳あって、NAISTのM先生の研究室か、京大のK先生のところかを急いで決めなければ
ならない状況です。
NAISTの方からは、NAISTのいい点についての話を聞いたりしたことがあるのですが、
京大の内部の方の意見を聞いたことがなくて…
いいところだ、迷うならやめろ、来るな等なんでも結構ですので、意見をお伺いできれば
幸いです。
0975デフォルトの名無しさん
2008/08/13(水) 22:39:34http://science6.2ch.net/test/read.cgi/informatics/1156308669/231-233
0976デフォルトの名無しさん
2008/08/14(木) 08:04:15来週はColingがあるから、今週中に。
0977デフォルトの名無しさん
2008/08/14(木) 10:21:51向こうでは名前そのまま出ちゃってるしwww
0978デフォルトの名無しさん
2008/08/14(木) 12:38:29雰囲気でw
2chだとイニシャルのほうがなじむかなーと。
向こうのスレの236みたいな決め方はしたくないなぁ
0979デフォルトの名無しさん
2008/08/14(木) 12:42:19このジャンルで仕事になるなんて
極楽じゃない
0980デフォルトの名無しさん
2008/08/15(金) 00:07:28しかも個人特定できるまで情報をだして
2ちゃんで聞くのが理解できん。
ほかにやりようがありそうなものだが。
0981デフォルトの名無しさん
2008/08/15(金) 00:18:42と言っておく
0982デフォルトの名無しさん
2008/08/15(金) 00:19:320983デフォルトの名無しさん
2008/08/15(金) 00:41:41直接研究室のスタッフなりに聞くという
手段を取っていないのは感心しないといえばしないが
0984デフォルトの名無しさん
2008/08/15(金) 00:46:55やっぱり、中国語NLPのための環境があるというのは魅力ですね。
ただ、実際に学生の立場の人からも意見が聞ければと思い書き込みました。
0985デフォルトの名無しさん
2008/08/15(金) 00:59:582年間になるか5年間になるか知らんけど悔いの無い選択ができることを祈ってます.
レス数が950を超えています。1000を超えると書き込みができなくなります。