ベイズ VS 最尤
■ このスレッドは過去ログ倉庫に格納されています
0001デフォルトの名無しさん
NGNGベイズと最尤について語りましょう。
関連リンク
パターン認識とニューラルネット
http://www.neurosci.aist.go.jp/~kurita/lecture/prnn/prnn.html
0005デフォルトの名無しさん
NGNG0006デフォルトの名無しさん
NGNG入門者にはいいかも。
0007デフォルトの名無しさん
NGNG0008デフォルトの名無しさん
NGNG0009デフォルトの名無しさん
NGNG0010デフォルトの名無しさん
NGNG高卒とDQN大卒が大部分を占める２ｃｈでする話題ではないような。
.NETみたいな低俗な話をしよう
0011デフォルトの名無しさん
NGNGしかーし！！！！！
ﾌﾟﾌﾟﾌﾟ
0012デフォルトの名無しさん
NGNG0013デフォルトの名無しさん
NGNG0014デフォルトの名無しさん
NGNG0015デフォルトの名無しさん
NGNGデータの確からしさが高い物は最尤
低いものはベイズ
0016デフォルトの名無しさん
NGNGありがとう。勉強してみます。
0017デフォルトの名無しさん
NGNG0018デフォルトの名無しさん
NGNG0019デフォルトの名無しさん
NGNGhttp://www.neurosci.aist.go.jp/~kurita/lecture/prnn/node5.html
これがわかりやすいかも
0020デフォルトの名無しさん
NGNG0021デフォルトの名無しさん
NGNG派ラメトリックモデルにおいては、
パラメータが不明な確率分布関数を推定するものだという理解をしました。
これができると競馬に応用できそうなんですが。
それで、
１．多変量正規分布 モデルの場合には、最尤解を解析的に求めることができ
２．解析的な結果は正規分布などの一部 の分布関数属についてのみ可能。
など前提条件が必要なようなんですがこの辺の意味がいまいちわかりません。
正規分布で表現可能な確率分布に限定される意味でしょうか？
もう一つ。
これは一般に自分でコーディングするものなのですか、
ライブラリとか普通に転がってるものですか？
0022デフォルトの名無しさん
NGNGそれともparameticで扱えるほど凄いモデルがあるのか。
0023デフォルトの名無しさん
NGNG俺は高卒なんでよくわからんが
パラメトリックモデルというのは、
ある確率？分布を表現するのにいくつかの
パラメーターで表現できるものをパラメトリックモデルというらしい。
例えば、正規分布は「平均」と「分散」で表現できる。
一方で、ノンパラメトリックモデルとはニューラルネットのように
パラメーターがたくさんあるものを言うのだと思う。
ベイズとか最尤でパラメーターを推定するみたいだね。
普通、こういったアルゴリズムは自分でコーディングするものだと思うよ。
むしろ、ライブラリは決まりきった処理（スタックとか）で
使うものだと思う。
コーダーを卒業するには、こういう知識が必須なんだろうな。
002423
NGNG直感的な意見だけど、ベイズの方が良さそう。
面白そうな話なので、いい本があれば教えてください。
0025デフォルトの名無しさん
NGNG> 一方で、ノンパラメトリックモデルとはニューラルネットのように
> パラメーターがたくさんあるものを言うのだと思う。
違う。
パラメータつきのモデルを考えそのパラメータを当てようと頑張るのが parametric
パラメータつきのモデルを考えないで分布を当てようと頑張るのが nonparametric
0026デフォルトの名無しさん
NGNGモデルというのは、確率分布の形のことですか？
かなり複雑なものになりそうなきもするのですが、
以前タイムというか着差のヒストグラム書いてみたら、
見た目２項分布かポアソン分布に似ていたので、
そのあたり使えないかな？と考えてます。
ノンパラメトリックについてはまた>>1を読み進めて理解を進めてみます。
>>23
ある関数を仮定してる時点で既に汎用的には処理できなさそうですね。
やっぱちゃんと理解してからでないと作れないんだろうなあ。
0027デフォルトの名無しさん
NGNG>そのあたり使えないかな？
あるデータの分布を、ある関数（ポアソン分布とか２項分布とか、直線、２次関数）
に近似するだけなら
最小2乗法が使えるよね?
それがすなわち最尤法だっけ？
ここでベイズを使う事もできるわけだけど。
0028デフォルトの名無しさん
NGNGそれが競馬に適した推定方法かどうかはまた別。
>>26
推定の前提は、まず「真の分布」なるものが存在すると仮定すること。
そしてその真の分布を模倣可能であると仮定されている分布(の族)をモデルという。
具体的には2項分布やポアソン分布のように式で表されるものを指すことが多い。
0029デフォルトの名無しさん
NGNG見極める必要があると思う.
で, このことはどのような特徴量を取ってくるかと関係がある.
いくらベイズがデータの確からしさが低いものに有効だといったって,
互いに相関のある特徴量を見つけないと, まるで役に立たない認識器ができる.
逆にそのような特徴量を見つけることができれば, ほとんど勝ったも同然.
だけど, 過去何十年もの間, さまざまな猛者たちがいろんなデータを
見てきたにもかかわらず, いまだに必勝法がないということは ...
0030デフォルトの名無しさん
NGNG競馬に対するモデル推定の問題を戦略別に考えるのが面白いのは確かだろう。
またオッズの時間推移を調べることで投票者がベイジアン的なのか否かを
どれくらい知ることができるのかは真面目に検討してみる価値はあると思う。
着順が当たることだけが競馬の楽しみではないんじゃないかな。
0031デフォルトの名無しさん
NGNG漏れもシロートだけど、
東京大学出版会『実践としての統計学』4章にあった説明は分かりやすかったよ。
残念だけど、かなり長くなるからここには書かない。
条件つき確率P(A|B)=P(A∧B)/P(B)を定義とせず公正な賭というものの
公理から導くところがその説明のミソ。主観確率というのが分かった気がした。
0032デフォルトの名無しさん
NGNGちょっと考えてみたんですが、
いろんな要素（過去数走のタイム、枠、騎手、その他）をベースに確率分布関数を推定するはずなのに、
一般的なパラメータで表現できる関数を仮定してしまうと、
最初の要素をどう利用すべきかわからなくなって混乱中です。
>>29
勝ちの＝回収率１００％越えとするならば、可能ではないかと思ってます。
自分の場合、集計とりはじめて３５０レースでの回収率が９２，３％程度ですが、
競馬板などみてると、結構勝ち組もいるようです。
これって使い手次第でかなり応用範囲が広そうな印象ですが、
具体的にはどういった業務、業種で使われていることが多いですか？
今組み込み系へっぽこPGですが、ちと飽きてきました。
0033デフォルトの名無しさん
NGNG予測と名がつくものならなんでも使うだろ。
もっと大きな目で見たらデータを扱う分野だったら
やっておいて損はない。
データといえばサーチエンジンとか。
予測といえば天気予報とか。
勝ちの利益は負けが補う事を考えれば
最良の予測システムができて、それを自分だけで使えるなら
儲かるかもね。
もちろん期待値のはなしね。
で、最初の問いには、
>過去数走のタイム、枠、騎手、その他
をパラメーターとする確率密度関数を作るんだろう。
ようするに
p(過去のタイム、枠、騎手、その他）＝１位になる確率
ニューラルネットが一番手っ取り早そう。
0034デフォルトの名無しさん
NGNG> 一般的なパラメータで表現できる関数を仮定してしまうと、
> 最初の要素をどう利用すべきかわからなくなって混乱中です。
そういう場合は、用意したいろいろなモデルのなかから
AICのような推定量でモデルを選択するのが常套みたい。
0035デフォルトの名無しさん
NGNG> ニューラルネットが一番手っ取り早そう。
なんだか分からない問題に対するNNはうまく組まないと
自由度が高過ぎて学習に激しく失敗する場合が多い。
しかしNNをうまく組むというやりかたは、
自分で統計的手法を行なうのとあまり代わらない。悩ましい。
ともかく何か動くものを作って失敗してから考えた方が楽しそうだ。
0036デフォルトの名無しさん
NGNG0037デフォルトの名無しさん
NGNG雑にいえば手持ちのモデルから良いモデルを選ぶための指標量
他の指標量ではMDL(minimal description length)が有名
AICとMDLは考え方が全然違う
googleしたら赤池情報量「基準」と書いてある方が多い
しかし統計数理研究所のサイトでは「規準」がほとんど
よってgoogleするときは「赤池情報量」で引くのがお得ぽ
0038デフォルトの名無しさん
NGNGやはりニューラルネットって考えは自然なんですかね。
JRAの関連団体が提供している予想方法がそれを使ってるみたいです。
http://www.jra-van.ne.jp/next/mining.html
ただ多数に公開されてる上に、
同じ手法で後追いするのはかなり辛そうな感じですね。
0039デフォルトの名無しさん
NGNGJRAの関連団体なら勝率をあげる動機に乏しいと思われ
0040デフォルトの名無しさん
NGNGそれって的中率はどれくらいなのかな？
ニューラルネットって考えが自然ってわけではなくて
いい方法がないから、ニューラルネットにいれてしまえってとこかな。
ただ、競馬ならまともに統計データを活かせば上手くいきそうなきがする。
誰もやらないのは、
（競馬でちょっと儲けたい＆＆統計学に詳しい）
が常に偽なんじゃない？
統計学的に競馬は儲かりません、とｗ
0041デフォルトの名無しさん
NGNGttp://queen.heart.ne.jp/cgi-bin/browse?msgid=%3Caorhjv%24394%241%40newsl%2Edti%2Ene%2Ejp%3E&ym=200210
0042デフォルトの名無しさん
NGNGもらえるお金を最大にするには
期待値最大の物を選ぶわけで。
話題自体、ベイズとかとはちょっと違う気がする。
ベイズはこんな感じ↓
http://forensic.iwate-med.ac.jp/aoki/vf/risshi.html
0043デフォルトの名無しさん
NGNG書いてあるとおり行動経済学とやらの範疇なんだろうね。
0044デフォルトの名無しさん
NGNGAICについてちょっと見てみたんだけど、
これって理論的な裏づけがあるのかな？
なんでAICが情報量基準として有効なのかっていう。
0045デフォルトの名無しさん
NGNG0046デフォルトの名無しさん
NGNGはい。導入前に検証した結果↓だそうです。
http://www.jra-van.ne.jp/next/index2.html
馬券的支店で言えば、、的中率というより回収率ですね。
買おうと思えばすべての馬券を買うことができてしまうので。
＞（競馬でちょっと儲けたい＆＆統計学に詳しい）
＞が常に偽なんじゃない？
これ昔から気になってました。
証明が不要なほど、もう結果が見えちゃってる感じなんですかね。
それとも相当数が注目するギャンブルより、
もっと有効に適用できるモノなんていくらでもあるんだからそっちを選ぶとか。
0047デフォルトの名無しさん
NGNG裏付けといっていいかは分かんないけど↓気持ちは分かる
ttp://www2c.biglobe.ne.jp/~m_naka/subsemi/sub2001/doc_aic.pdf
0048デフォルトの名無しさん
NGNG0049デフォルトの名無しさん
NGNG0050デフォルトの名無しさん
NGNG0051デフォルトの名無しさん
NGNG0052デフォルトの名無しさん
NGNG原文では an information criterion
AWKと違って自称じゃない
0053デフォルトの名無しさん
NGNGそんな事ないよ。
ギャンブルじゃなくて、純粋に勝ち負けの予想を
統計学的？にするのはそれなりに難しい。
競馬に詳しい人のほうが予想が当たるなら、
過去のデータを有効活用する方法があるという事で・・・・
誤解を招くような書き方をして申し訳ない。
ただ、ギャンブルとなると、
主催者？が儲かるような仕組みを作っているわけで
期待値の計算をすれば必ず損してしまうだろうと・・・・
0054デフォルトの名無しさん
NGNG無料掲示板
無料レンタル掲示板
0055デフォルトの名無しさん
NGNGというのは、
例えば、１０円玉を投げて表が出るか裏が出るかを
予測する事は不可能に近い事で、
競馬もそれくらいランダム性が高いのかもしれないという事。
個人的には、NNでタイムを予想するのはナンセンスだと思う。
もっと高精度な予測器が作れるのではないかと。
0056デフォルトの名無しさん
NGNGクルバック・レイブラーって
何の分野の用語ですか？
0057デフォルトの名無しさん
NGNGそのパラメータの意味が激しく問題になるわけだが。
0058デフォルトの名無しさん
NGNG0059デフォルトの名無しさん
NGNGhttp://lecture.ecc.u-tokyo.ac.jp/~okatu/statistics/carriculum.html
すばらしい先生だよ。
HTML形式の教科書を作ってくれるなんて。
0060デフォルトの名無しさん
NGNG生徒が作ってるんじゃ…
かわいそうに。
それと、PDFかPSだったらよかったのに…
0061デフォルトの名無しさん
NGNG0062デフォルトの名無しさん
NGNG0063デフォルトの名無しさん
NGNG0064デフォルトの名無しさん
NGNGカルバックさんとライブラーさん
0065デフォルトの名無しさん
NGNGごめんなさい、前半部分ちょっとわかりませんでした。
競馬に限らず何かの予想するってことは一般的に難しいよ。っていう意味ですか？
後半ですが、仕組みとしては、フレンチなんとか・・・ってことで、
主催者は儲かるようになってます。
何も考えないで買うと、期待値はおよそ７５％ちょっとぐらいだったと思います。
主催者がより設けたいとするならば、売上を大きくすることですかね。
>>55
馬連の一点的中率ですね。
えーと適当ですが、平均すると１レース１４頭ぐらいなので、
だいたい組み合わせ数は９１通りですね。同じく何も考えないと的中率は１％ちょっと。
とうぜんオッズが重要になってきます。
0066デフォルトの名無しさん
NGNG株いいですね。俺はさっぱりですが。
なんか面白いネタあったら聞いてみたい。
0067デフォルトの名無しさん
NGNGカルバクライバー情報量とはダイバージェンスのことです。
0068デフォルトの名無しさん
NGNG詳しい解説求む
0069デフォルトの名無しさん
NGNG確率分布 p(i) の q(i) に対するダイバージェンスは、
D(p||q) = 農i p(i) log(p(i)/q(i))
で求められます。
情報源 p(i) に対するモデル q(i) との差分（距離）を表すわけです。
0070デフォルトの名無しさん
NGNG検索したら KL distance といういい方もあったのですが、
見るからに D(p|q) != D(q|p) なのにどうして距離と呼ばれるんですか?
どこの業界の言葉なんでしょう。
0071デフォルトの名無しさん
NGNGparameter か hyperparameter かってこと?
0072デフォルトの名無しさん
NGNG0073デフォルトの名無しさん
NGNG距離は距離でも距離の定義のうち1つを満たす擬距離と呼ばれます。
下の定義で言えば、一番目の定義しか満たしません。
距離の定義
・d(x,y) >= 0, d(x,y)=0 <-> x=y
・d(x,y) = d(y,x)
・d(x,y) +d(y,z) >= d(x,z)
0074デフォルトの名無しさん
NGNG業界という言い方はちょっと違いますが
情報理論やデータ圧縮、経済・経営理論、確率統計分野で使うものです。
>>72
エントロピーの親戚みたいなものです。
標本空間が変化した際の情報量の変化値(増分のみだが)を表します。
ダイバージェンス(DIV)から、相互情報量やフィッシャー情報量も得られます。
0075デフォルトの名無しさん
NGNG少し感動してしまった。
0076デフォルトの名無しさん
NGNGKLダイバージェンスのこと? それなら Gibbs が作ったらしいよ。
0077デフォルトの名無しさん
NGNG> カルバクライバー情報量ってエントロピーみたいなもんなのかな。
相対エントロピー（relative entropy)って呼び名もあるよ。
それより、カルバクライバーっていい方ははじめてみたけど単なるtypo?
>>64 が言うようにカルバック・ライブラーじゃない?
0078デフォルトの名無しさん
NGNG擬距離、そういえばそういうものもあったような・・・ありがとう
ところでわざわざ（擬）距離と呼ぶからにはその性質を使って何か分かるのですか？
例えばKL擬距離で何か興味の持てる位相は作れますか？
それはさておき、AICはKL情報量を使うから
情報量基準というのだというのをどこかで読んだ。
0079デフォルトの名無しさん
NGNG0080デフォルトの名無しさん
NGNG0081デフォルトの名無しさん
NGNG0082デフォルトの名無しさん
NGNG0083デフォルトの名無しさん
NGNG0084デフォルトの名無しさん
NGNG0085デフォルトの名無しさん
NGNGどこの大学？
0086デフォルトの名無しさん
NGNGアンチＯＯスレのＯＯ派側の元気な粘着クン
ほれ、これだ
http://pc3.2ch.net/test/read.cgi/tech/1013995470/l50
0088デフォルトの名無しさん
NGNG0089デフォルトの名無しさん
NGNGリンクはココの奴をぱくって
こんな感じでどうかな？
前スレ
http://pc3.2ch.net/test/read.cgi/tech/982118979/-100
IEICE
http://search.ieice.org/
online journal
http://www.ai-gakkai.or.jp/jsai/journal/olj.html
パターン認識とニューラルネット
http://www.neurosci.aist.go.jp/~kurita/lecture/prnn/prnn.html
HMM
http://unicorn.ike.tottori-u.ac.jp/murakami/doctor/node1.html
数理計画・統計解析
http://lecture.ecc.u-tokyo.ac.jp/~okatu/
0090デフォルトの名無しさん
NGNGよく分かんないけど、知識表現とか自然言語処理とかはもはや違う？
NNはGAと同様に人工知能には数えない気が。
パターン認識とかORもなんとなく人工知能ぽくない。
0091デフォルトの名無しさん
NGNG人工知能って言うのでは？
ORってオペレーションズリサーチ？
0092デフォルトの名無しさん
NGNG悪くないと思う。
0093デフォルトの名無しさん
NGNG>例えばKL擬距離で何か興味の持てる位相は作れますか？
KL を距離的な量として考える際のポイントをいくつかあげておきませう。
1. 微分幾何学的な観点からすると、KL は距離そのもの
というよりも、距離の二乗に近いものと考えられる。
KL(p,q)≠KL(q, p) という非対称性は、情報幾何でいう
ところの双対接続という概念と深く関係している。
2. 統計学的観点からすると、KL は二つの確率分布を
観測データからどれぐらいの精度で識別できるかという
限界値を意味している（Stein の補題）。KL の非対称性は、
仮説検定における第一種誤り確率と第二種誤り確率の扱い方
の非対称性に由来する。
0094デフォルトの名無しさん
NGNGエプシロン近傍系を考えても位相は定義されない、ということ
が知られている（有限集合上の確率の場合は除く）。これは、
三つの確率分布 p, q, r に対し、KL(p, q) と KL(q, r) が
ともに十分小さいとしても、KL(p,r)はいくらでも大きい値を
取り得る、ということの反映である。
4. データ圧縮論的観点からすると、KL(p,q) は分布 p の
もとで q に基づいた最適な圧縮を行った場合にエントロピー
からどれぐらいずれるかという「冗長度」を表す。
5. 確率論的観点からすると、KL(p,q) はレベル 2 の
大偏差原理である Sanov の定理におけるレート関数を
与える。KL は大偏差理論における要である。
以上
0095デフォルトの名無しさん
NGNGくぅ。
0096デフォルトの名無しさん
NGNG> ニューラルネットとかGAを応用したアプリケーションを
それもAIと考える人がいないことはないけど、
そればかりが目につくのがどうかなと。
> ORってオペレーションズリサーチ？
そうそう。>>89のeccのリンクはおおむねそれだよね。
まあ待ってる人もいるみたいだから細かいことは気にせずに
早くスレ立ててもらった方がいいのかも。
0097デフォルトの名無しさん
NGNG逆に、96が考える人工知能の分野って何だと思うの？
人工知能の「知能」は
人間にできて、コンピューターにできない事をさしてると思う。
人工知能では、そういう事を問題とすればいいのでは？
>>93-94
すごく詳しいみたいだね。
お勧めの本ってあります？
0098デフォルトの名無しさん
NGNG>お勧めの本ってあります？
KL をめぐるさまざまな数学を一冊にまとめた本があるといい
と思うけど、残念ながら見たことなし。（誰か書いて。）
今のところ、情報理論の洋書(Cover and Thomas, Blahut, etc.),
情報幾何の教科書 (Amari, Amari and Nagaoka, etc.) , 大偏差
の洋書(Dembo and Zeitouni, etc.), Csiszar の論文,等々で
個別的な知識を学ぶしかないでしょう。（何も全部読む必要は
ないが。）あまり役に立たない情報ですまん。今後とも KLを
よろしく。
0099デフォルトの名無しさん
NGNG久しぶりに２ｃｈでいい情報にめぐり会えた気がする。
統計学観点とデータ圧縮論観点ていう見方が面白かったよ。
ただ、この手の話は数学が必要とされるから厄介だね。
内容自体はすごく面白いと思うけど。
ところで、誰か変分ベイズかMCMCか使って
簡単なプログラム作った人いない？
010096
NGNGうーん、
知能というものを作ることではっきりようとする分野
かな。 暗黙に了解されているけど分かってないのが知能じゃないかな。
>>89 には特に帰納推論に相当する部分が抜けてない？
その辺が漏れはもっとも知能っぽいものだと思ってるんで引っかかった。
英語でキーワードを書くと
"inductive inference" intelligence
abduction algorithm
とかかな。
0101デフォルトの名無しさん
NGNG今は統計的学習が流行ってるだけ。
つい１０年前までは帰納推論ばっかりだったわけだし。
0102デフォルトの名無しさん
NGNG>>78です。どうもありがとー。
>>98
> 今後とも KLをよろしく。
ちょっとﾜﾛﾀ
0103デフォルトの名無しさん
NGNG■ このスレッドは過去ログ倉庫に格納されています