ベイズの定理
■ このスレッドは過去ログ倉庫に格納されています
0001１３２人目の素数さん
2007/10/03(水) 15:20:280002にょにょ ◆yxpks8XH5Y
2007/10/03(水) 15:28:52今だ！2ｹﾞｯﾄｫｵ
￣￣￣￣￣∨￣￣￣ (´´
∧∧ ) (´⌒(´
⊂（ﾟДﾟ⊂⌒｀つ≡≡≡(´⌒;;;≡≡≡
￣￣ (´⌒(´⌒;;
ｽﾞｻﾞｰｰｰｰｰｯ
0003１３２人目の素数さん
2007/10/03(水) 15:46:21Baysian完敗は必至！！！
0004１３２人目の素数さん
2007/10/03(水) 16:08:540005１３２人目の素数さん
2007/10/03(水) 16:27:230006１３２人目の素数さん
2007/10/03(水) 23:33:190007１３２人目の素数さん
2007/10/03(水) 23:57:540008１３２人目の素数さん
2007/10/04(木) 00:08:29「結果から原因を推定する」
これ頭に入れて、教科書もう一回よんでみて
抽象的な議論なんで、わかりやすくは説明できないわ
最初は、何が分からないのか見当も付かないっていう状態が続くかもしれないけど、
教科書の例題なぞって、頑張って手を動かしてみて下さい
0009１３２人目の素数さん
2007/10/04(木) 00:55:470010１３２人目の素数さん
2007/10/09(火) 06:07:24尤度を「明解に」解説するのって結構大変だと思います(笑)。
では実験。
>>1氏がコインを「たった2回」投げるとします。
一回は表が出て一回は裏が出ました。
ではそのコインの「表が出る確率は何?」と言う質問を考えましょう。
例えばそれに対する答えとしては、
1:1/3
2:1/2
3:9/10
......
と色々あるワケですね。「可能性」はたくさんあるんです。
んで、どれが「統計学上」ただしいのか、と言うと基本的にこれは答えられない。
数学的にもムリです。はい。
しかしながら、多分「コインの表が出る確率は1/2だろう」と言うのが「尤度＝もっともらしさ」って事です。
「もっともらしい数値は1/2」と言う言い方が出来ますね。
こんな説明でよろしいでしょうか?
0011１３２人目の素数さん
2007/10/09(火) 13:23:420012１３２人目の素数さん
2007/10/13(土) 05:06:541です。
じゃあ自由に決められるってことですか？
0013１３２人目の素数さん
2007/10/13(土) 10:40:25はい。原理的にはそうですね(笑)。
ただし、数学的に「それなりの基準を作ろう」と言う話が出てきます。
(これはあくまで数学的な"提案"なんで、真実を表しているのかか
どうかはまた別の話です)
その文脈で言うと、例えば標本理論で言うトコの「最尤法」であったり、
ベイズ統計学で言うトコの「事後分布の最大値」と言う考え方が出てきます。
基本的には、
「起こった結果はパラメータの"もっともらしさ"が一番大きい場所で起こると考える方が自然だ」
と言う考え方が背後にあります。
例えば、>>10の例で言うと、「1回表が出て1回裏が出る」のは一体どういう
条件の下で一番起こりやすいだろう?と考えます。
もちろん、「表の出る確率が90％」のコインでも、「たった2回ふった」程度の
実験では「1回表が出て1回裏が出る」のは「十分にあり得ます」。
ただし、現時点、データを取ってみた限りでは「コインの表が出る確率が
50％」と考えた方が「よりもっともらしい」。つまり、言い方変えると、「確率
50％の方が尤度が大きい」と言う事なんです。
0014１３２人目の素数さん
2007/10/13(土) 10:42:02にしてみれば分かりますが、縦軸はこの「尤度」なんですね。「もっともらしさ」
の指標です。
ベイズ統計の文脈ですと、仮りに、事前分布にα＝1、β＝1のベータ分布
を事前分布として採用して、尤度モデルに二項分布を採用する。
そうすると、事後分布で尤度が最大の「コインの表が出る確率」は0.5、
つまり50％になりますね。
ただし、この結果は実は「モデル次第」だ、と言えます。「仮りに」と言うのは
そう言う意味です。別の尤度モデルや事前分布を採用したらまた違った
結果になるでしょう。
また、今回は「最大の」尤度を示す場所を基準として考えましたが、ベイズ
統計の場合は>>1さんが仰った通り「自由に決められる」のが原則なんで、
最大値(＝モード)を基準に考えないで、平均値を採用したり、中央値を
採用するケースもあります。その辺りも「自由にして」原則構いません。
(一応、どの基準がどういうリスクを負うのか、と言う議論で、「損失関数」
なるものが導入されて研究されていたりします。が、原則、特に工学的な
応用では「事後分布最大」がもっとも適切な推定値になりそうだ、とは
言われているようです。)
0015１３２人目の素数さん
2007/10/16(火) 01:46:09ありがとうございます。かなりすっきりしました。
なかなか理解しにくいですが、すこしずつ理解できました。
もう少し勉強してみます。
0016１３２人目の素数さん
2007/10/30(火) 14:49:440017１３２人目の素数さん
2007/11/04(日) 21:24:59文系のオッサンの身ながら、思うところあってベイズ統計学を
独学中であります。
誠に恐縮ながら、拙者も弟子にして下さらぬか．．．<(_ _)>
早速ですが、>>10 の例で、コインが表となる確率をpとすると、
p*(1-p))
が尤度になり、微分すればp=0.5が最大尤度になるると
いうことだと理解しています（合っているかな？）。
さてこの尤度と、カーネルと呼ばれるものとは一体何がどのように
異なるのでしょうか？
お教えいただければありがたく存じます。
0018１３２人目の素数さん
2007/11/16(金) 11:43:53＞p*(1-p))
＞が尤度になり、微分すればp=0.5が最大尤度になるると
＞いうことだと理解しています（合っているかな？）。
合ってます。
が、直接それとベイズは関係ありませんね。
どっちかと言うとフィッシャーの「最尤法」の文脈だと思います。
＞この尤度と、カーネルと呼ばれるものとは一体何がどのように
＞異なるのでしょうか？
カーネルに付いては正直良く分かりません(笑)。
まずは、機械学習系のネタでしょうし、純粋な統計学かと言うと・・・・・・?
基本的には、適当な写像Φがあって、ベクトルxの写像をΦ(x)、ベクトルzの写像を
Φ(z)とした場合、この二つの写像の内積で作られる関数K
K(x, z)＝Φ(x)・Φ(z)
を「カーネル」と呼ぶようです。
この「写像」を何の為に行うか、と言うと、例えば二次元平面上でデータを直線を引いて
二つの種類に分けるのが難しい場合、敢えて(例えば)三次元上へデータを移しかえて、
そこで平面で分離してしまうと言う・・・・・・。原則的に判別分析等で使われるテクニック
の模様です。
実例が無いのでピンと来ませんね(笑)。僕もです(笑)。
詳しくはこのPDFを参考にしてください。
http://www1.doshisha.ac.jp/~mjin/R/SVM.pdf
0019１３２人目の素数さん
2007/11/17(土) 12:54:440020１３２人目の素数さん
2007/11/17(土) 21:25:37お答えいただきまして、どうもありがとうございます。
う〜ん、小生が読んでいる統計本には、ベイズの定理の説明の中で、
P(x|y) = P(y|x)*P(x) ÷ P(y|x)*P(x)の積分
∞ f(x|y) ÷ f(x|y) の積分
の形に書き直せるなら、分子をカーネル、分母（積分して定数になる）を基準化定数
と呼ぶ
云々の記述があります。
小生の理解では、分子が実際に数字が観測されるまでがカーネルで、観測された
後では尤度になる、というものなのですが、どうも良く分かりません。
ググってみても、ベイズの定理による事後分布とカーネルという用語を関連して記述
しているものが見つかりませんでした。
もう少し自分なりに考えてみます。
ご親切にお調べいただきましたことに、重ねて感謝します。
0021１３２人目の素数さん
2007/11/18(日) 16:31:03＞小生が読んでいる統計本
ああ、朝倉の「入門ベイズ統計学」でしょ?(p.50)
多分その本の説明の事指してるんじゃないかな、とは思っていました。
(ただし、その本では分子をカーネルと呼ぶ、とは書いてません。もう一度確かめて
下さい。)
あそこで「カーネル」って単語出すのが果たしてどの位の意味があるのか・・・・・・。
説明も不十分ですし、正直「余計な解説」だとは思います。まあ、極端に言うと忘れて
構わないとは思いますよ。
日本ではベイズ関係の入門書で言うと大まかに3冊しか存在しないんですが、
「カーネル」って単語を出してるのは朝倉のその本だけ、です。そして、あの説明は
あそこでは全然用を成さないんですよね。
恐らく、著者の意図としては、第5章の「マルコフ連鎖モンテカルロ法」の為の試金石、
と言う意味でその単語を出したのではないか、とは思います。
「マルコフ連鎖モンテカルロ法」、ってのはコンピュータ上で行P(y|x)*P(x)う確率分布の推定
シミュレーションなんですが、一般に、確率分布
P(x|y)＝P(y|x)*P(x)/∫P(y|x)*P(x)*dx
の分母である「正規化定数」とか「基準化定数」とか「分配関数」って呼ばれる部分が
解析的に求まる、とは限らないんです。そこでコンピュータ・シミュレーションを用いて
分布に従う乱数を生成してその「良く分からない」確率分布の性質を調べようとします。
0022１３２人目の素数さん
2007/11/18(日) 16:31:52P(x|y)∝k*f(x|y)
が成り立つんだったら、計算の途中の過程で
k*f(x|y)/k*f(x'|y')＝f(x|y)/f(x'|y')
として、余計な係数を全て消去しちゃうんです。多分それを言いたいが為にああ言う
書き方をしたんじゃないか、とは思います。
＞ググってみても、ベイズの定理による事後分布とカーネルという用語を関連して記述
しているものが見つかりませんでした。
多分そうだと思いますよ。
カーネル、って単語が引っかかるのは、どっちかというとベイズではなくって「サポート
ベクターマシン」とか「SVM」と言われる一種ニューラルネット系で使われる単語です
ので。それ以外は(少なくとも僕も)見かけないと思います。
0023１３２人目の素数さん
2007/11/18(日) 17:46:58ビンゴです。その本を読んでいます。
まだ４章までしかたどり着いていませんので、ご指摘を踏まえて
５章を読んでみます。
重ね重ねありがとうございます。
0024１３２人目の素数さん
2007/12/09(日) 06:23:08ベイズの定理の65%は微妙さで出来ています。
ベイズの定理の25%は呪詛で出来ています。
ベイズの定理の7%は下心で出来ています。
ベイズの定理の1%は鉛で出来ています。
ベイズの定理の1%は希望で出来ています。
ベイズの定理の1%は魔法で出来ています。
0025１３２人目の素数さん
2008/03/14(金) 15:33:350026１３２人目の素数さん
2008/03/14(金) 15:34:290027１３２人目の素数さん
2008/03/14(金) 15:35:260028１３２人目の素数さん
2008/03/30(日) 18:29:56予測分布p(t|x)をp(t|x)=∫dw p(t|w)p(w|x)と書くのは定義なのか、
それとも他の確率公理から導けるのか、どちらなのでしょうか。
xは訓練集合でwはパラメータ、tが予測したい変数。
p(t|w)は尤度関数でp(w|x)はパラメータの事後分布です。
0029１３２人目の素数さん
2008/04/18(金) 01:47:06単なる期待値として考えてみたら?
加重平均として考えてみても良し。
0030１３２人目の素数さん
2008/05/10(土) 01:49:26あれからポツポツと勉強してますが…
単なる期待値、確かにそういう類のもののようですね。
ベイズの定理などの基本的な性質から演繹的に導かれるものではないのかなと思ってます。
教師無し学習の場合などがそれに対応している気がします。
0031１３２人目の素数さん
2008/05/10(土) 06:32:47■ このスレッドは過去ログ倉庫に格納されています