統計学なんでもスレッド11
■ このスレッドは過去ログ倉庫に格納されています
0001１３２人目の素数さん
2009/11/16(月) 16:05:22統計学なんでもスレッド10
http://science6.2ch.net/test/read.cgi/math/1245043541/
統計学なんでもスレッド9
http://science6.2ch.net/test/read.cgi/math/1226981666/
統計学なんでもスレッド8
http://science6.2ch.net/test/read.cgi/math/1211786770/
統計学なんでもスレッド7
http://science6.2ch.net/test/read.cgi/math/1193183539/
統計学なんでもスレッド6
http://science6.2ch.net/test/read.cgi/math/1169836298/
統計学なんでもスレッド5
http://science5.2ch.net/test/read.cgi/math/1145362721/
統計学なんでもスレッド4
http://science4.2ch.net/test/read.cgi/math/1123896809/
統計学なんでもスレッド3
http://science3.2ch.net/test/read.cgi/math/1097491056/
統計学なんでもスレッド2
http://science3.2ch.net/test/read.cgi/math/1068288283/
統計学なんでもスレッド
http://science.2ch.net/test/read.cgi/math/1012782106/
0153１３２人目の素数さん
2010/01/11(月) 10:22:06うーん、例えば
http://ja.wikipedia.org/wiki/%E4%BA%8C%E9%A0%85%E6%A4%9C%E5%AE%9A
wikipediaの記事のサイコロの例は、片側二項検定の意味がわかりやすいのですが、
両側二項検定はどういう意味になるのか、またどういうケースで必要になるのかイメージできないです。
0154１３２人目の素数さん
2010/01/11(月) 11:55:31片側検定は、両側検定よりも範囲が広くなるから、結果を出しやすくなる。
サイコロの例だと、事前にはある目が多く出るように歪んでいるかはわからないよね。
この場合は、両側を使う。
やっちゃいけないのは、データをみてから検定の方法を決めること。あくまでも、事前に知りたいことを決め、検定方法を決めて分析する。
0155１３２人目の素数さん
2010/01/11(月) 12:58:59データ見てから検定の方法を決めるのがだめっていうのは、
サイコロの例で言えば、「235回中6の目が51回は期待値(235/6)より高いから、有意に高いか片側検定する」という判断も当てはまるのでしょうか？
6の目が出る確率が1/6になるようにサイコロが作られているか両側二項検定するということは、
・1/6を帰無仮説とし、235回のうち6の目が51回以上出る確率が有意水準より低いか
・1/6を帰無仮説とし、235回のうち6の目が51回以下出る確率が有意水準より高いか
この２つを調べ、両方とも真ならば6の目についてサイコロは公正に作られているという意味ですか？
0156１３２人目の素数さん
2010/01/11(月) 13:56:52仮説もなしに検定ができるわけがない
その意味で検定手順や優位水準は先に決まる
仮説が外れた場合は仕方がないので
何か尤もらしい言い訳を考える必要がある
0157１３２人目の素数さん
2010/01/11(月) 16:12:38>>154だけど（ちなみに、>>152とは別人）
最初にサイコロを235回振ってる段階で、６の目が公平かを調べようとしてるよね。
その段階では、多くでるか、少なくでるかはわかってないでしょ。
ところが降ってみたら、６の目が多くでた。
だから、６の目が多くでることを統計的に”片側”検定しよう。
とデータを見てから検定方法を決めてる。
これは、統計の手順としては、認められない。
>>155の場合、235回サイコロを振る前に、仮設を決めるとしたら、６の目が多いか
という仮設にはならないで、６の目が１／６の確率ででるかって仮設になるでしょ。
なんで、こういうことを気にするかと言うと、偶然、目が多くでたり、小さくでたり
することがあるので、偶然の結果を知ってから仮説を立てるのはダメだってことなのね。
（後出しじゃんけんになります）
５％で検定するなら、両側を２．５％ずつにして、全体で５％になるように検定
すればいい。
ただし、サイコロだと難しいけど、６の目が多くでることが問題であって、少なく
でることは問題ではない場合（薬の効果があることが大切で、効果が無いとかは
気にしないといった状況）ならば、片側検定になる。
0158１３２人目の素数さん
2010/01/11(月) 18:30:07>>157だけど補足しておくね。
データを見てから分析方法を決めてもいいのではと思いがちだけど、
統計的な分析をするときは、データの取り方も含めて最初に計画する。
つまり、どういうことを知りたいのかという仮説を立てて、それを
どの程度の精度で確認したいかを考えて、そのためにはどのような
方法で、どれくらいのデータをとればいいのか、ってのを計画する。
そういった、統計分析を適切に行うための流れとして、仮設を立てる
というのが、データよりも先にくる。
とはいえ、状況によっては、すでにあるデータから分析をしないといけ
ない場合もあるけど、きちんと計画して集めたデータではないから、統
計学的には妥当といえない分析であることが多い。
0159１３２人目の素数さん
2010/01/11(月) 18:45:150160統計初心者
2010/01/11(月) 19:52:27以下のような場合にどのような統計処理を行えば良いのかがどうしてもわからず、
有識者の方にご助言いただければと思い質問させていただきました。
100文字の文字列の中に、Aが40、Bが15、Cが30、Dが15個ある。
その中から無作為に4文字を選び、Xに置換する。 → (1)
この(1)の操作を50回行った時、「A→Xと置換された文字列」の個数はいくつになるか？
この場合、解答は正規分布のような形になると思うのですが。。
解析するにあたり、他に必要なパラメーターが必要な場合はそれもご指摘いただければ幸いです。
また、もし分野違いでしたら、どのような分野が適当かをご教示いただけないでしょうか。
よろしくお願いいたします。
0161１３２人目の素数さん
2010/01/11(月) 19:56:370162統計初心者
2010/01/11(月) 20:09:47レスありがとうございます。
置換されなかったAの数は、どのようにして求めれば良いのでしょうか？
何分素人なもので、勝手がよくわかりません。
お手数おかけいたします。
0163１３２人目の素数さん
2010/01/11(月) 21:18:21それが4連続で起こる確率
100%から↑を引くとXにAが含まれる確率
0165１３２人目の素数さん
2010/01/12(火) 02:46:57納得しました。
thxでした。
0166統計素人
2010/01/13(水) 23:06:31以下の問題がわからなくて助けて頂けたら嬉しいです。
C=1.59845(0.456)＋0.544653(71.398)Y
の計測式に表れる2つの数値0.544635および71.398を利用して、
推定した限界係数の標準偏差を求めなさい。
そうした上で、国民所得Yに係る係数の区間推定を行いなさい。
0167１３２人目の素数さん
2010/01/15(金) 15:33:06民間消費(Y) / GDP(X) / GDP成長率
1年目 19 / 32 / ━
2年目 20 / 34 / 6.3
3年目 21 / 35 / 2.9
4年目 22 / 37 / 5.7
5年目 23 / 40 / 8.1
6年目 25 / 43 / 7.5
7年目 26 / 46 / 7
8年目 27 / 47 / 2.2
9年目 28 / 48 / 2.1
10年目 29 / 48 / 0
平均 24 / 41 / 4.6
標準偏差 3.32 / 5.88 / 2.71
不偏標準編纂 3.5 / 6.2 / 2.88
【1】母集団でGDP成長率は3%以上といえるか検定してください。有意水準は0.05とします
帰無仮説H0：
対立仮説Ha：
検定の型(タイプ)：
臨界点：
検定統計量：
結論：
0168１３２人目の素数さん
2010/01/15(金) 16:26:04>>166
71.398は授業で「ｔ値」と呼んでる値。それを調べる。
>>167
左片側検定で検定統計量は ｔ だろう。教科書問題だから。
0169１３２人目の素数さん
2010/01/15(金) 23:32:03パソコンで試験を解かせてるんだけど、気をつけないと、試験中にネットで聞くのがいるので、IEとか開いてたらカンニングって言ってる。
0170１３２人目の素数さん
2010/01/15(金) 23:41:42マイナーなブラウザ使うやつがいたりしてなｗ
0171１３２人目の素数さん
2010/01/16(土) 00:56:530172１３２人目の素数さん
2010/01/16(土) 00:59:203％以上と言えるかどうかを検定したい。→期待する結果は”成長率（の平均）は3％以上である”と結論付けたい。→そこで、
帰無仮説（棄却される（無に帰する）事を期待する仮説）は”成長率は3％以上とは言えない”ということになる。
さらに言えば、今回判断の基準となるのは3％であるので帰無仮説は”成長率は3％である”とおき、これが棄却できたら”3％である
とは言えない”→”3％以上である”とみなすことにする。
（厳密には棄却できたからと言って積極的に成長率が3％を超えているとは言いきれないし、逆に棄却できなかったからと言っても
”成長率は3％”であると積極的には肯定できない。あくまでも確率的にそう考えた方が自然というくらいのニュアンスだが、実際に
応用されている現場ではそんなことでは話が進まない。検定は推定を下敷きにしている（そもそも人が神ではない以上、物事の判定
には必ず推定が入る）わけで、その推定に客観性を持たせるのが検定であると思います。）
今回の調査の結果では4.6％。これだけ見ると確かに3％以上ということになる。
大事なのはこの4.6％という数字がどれくらいアテになるか？ということ。何故なら、たまたまデータの平均が4.6％になった
だけじゃないかとも考えられるから。
で、この4.6％という値がたまたまじゃなく本当に3％より大きいそう＝この差は有意（意味がある）かどうかを検定するには・・・
以下、一旦切ります。
0173１３２人目の素数さん
2010/01/16(土) 01:00:042.有意かどうかを判定するには、この差額が十分な差と言えるかどうか？
3.十分な差とは何か？→偶然に左右されるデータのばらつき具合（標準偏差）と比べてみて、それよりも差額の方が大きいようなら
その差額は”大きい”すなわち有意な差であると考える。
4.そこで差額が標準偏差の何倍かを計算するが、この標準偏差は不偏では「ない」方の標準偏差をデータ数-1（ｎ-1）のルートで
割ったものを使う。（これの結果がいわゆるｔ値になります。）式で書くとｔ＝「差額/（標本標準偏差/√（ｎ-1）」＝
「差額×√（ｎ-1）/標本標準偏差」となる。
→長くなりすぎるのでハショりますが、標準偏差はデータ数が増えるほど小さく（精度が上がる）なります。
5.ではこの比が何倍あれば”十分に差がある”ということになるのか？それは、有意水準による。
（有意水準についても書こうとしたが文が長くなりすぎそうです。ここはどうかご自分で調べてみて！）
6.問いでは有意水準は0.05なので、（今は機械的に）ｔ分布表（教科書には必ずあります）で正規分布に占める面積の割合が0.05
である列を探す。それも今回は片側検定（これも長くなるのでどうか考えてみて！）なので、正規分布表の右端側の面積が0.05
である列をさがす。
7.次にその列の何番目の行を見るかだが、（これも今は機械的に）データ数が10なので10-1で9（自由度が9という意味）の行を
探す。→今回は1.833となると思います。
8.この1.833と手順5.までに求めた比を比べる。もし求めた比が1.833よりも大きい場合は、最初に考えた帰無仮説は棄却する。
つまり、”成長率は3％である”という仮説は棄却され、”成長率は3％以上である”となる。
（冒頭にも書いた通り、これは積極的な棄却ではなく、そう考えるのが自然ということです。）
具体的な計算方法は教科書等に必ず書いてあります。どうかご自分でなさってみて下さい。
最後に、決まり文句。
間違ってたらすまん。
0174１３２人目の素数さん
2010/01/16(土) 01:09:430175168
2010/01/16(土) 18:21:14ごめん数値見てなかった。 ×左片側検定 ○右片側検定
>>169
どこでいつやってるかわからない試験のために一般のネットユーザが
遠慮する、というのはヘンだと思いませんか？
（１年中２４時間、世界のどっかでやってる可能性あり）
>>172
・「差額」はヘン。「差」または（帰無仮説値からの標本平均の）「乖離」かな、、、
・「ｔ = 差額 / { 標本標準偏差 / √（n-1） } 」 は意味的にわかりにくいから、
「ｔ = 乖離 / （不偏標準偏差 / √n ) = √n × ( 乖離 / 不偏標準偏差 ) 」が吉かと。
（わざわざわかりにくい不偏値を世間で使うのは、この種の統計量表現のため）
0176１３２人目の素数さん
2010/01/16(土) 18:50:40試験に関しては、時期が夏前と年明けに偏るので、その時期に大学定期試験レベルの質問か日中にあったら、夕方か次の日までコメントを待てばいいと思うよ。
0177１３２人目の素数さん
2010/01/16(土) 21:54:44教えてもらって理解できたんなら、早速解いてみて答えを書きこんであげれば、173も
「あぁ、分かってくれたんだな。レスして良かったぜ。」
となるんじゃないだろうか？あるいは他の人が、さらなる解説を引き受けてくれるかも知れないよ。
それともまずは取り急ぎでお礼をしておいて、今懸命に問題を解いている最中かな。
もしそうだったらごめんなさい。
しかしGDP成長率ってｔ分布で表わせるものなのかな。
あくまでｔ検定の勉強の為の例題なのか・・・。
0178１３２人目の素数さん
2010/01/16(土) 21:57:00教えてもらって理解できたんなら、早速解いてみて答えを書きこんであげれば、173も
「あぁ、分かってくれたんだな。レスして良かったぜ。」
となるんじゃないだろうか？あるいは他の人が、さらなる解説を引き受けてくれるかも知れないよ。
それともまずは取り急ぎでお礼をしておいて、今懸命に問題を解いている最中かな。
もしそうだったらごめんなさい。
しかしGDP成長率ってｔ分布で表わせるものなのかな。
あくまでｔ検定の勉強の為の例題なのか・・・。
0179１３２人目の素数さん
2010/01/17(日) 09:41:34観測値自体が平均値の時、それをさらに平均化していいものでしょうか。
例えばA国B国...X国の平均気温をさらに平均化させて、
そのまま世界の平均気温と考えていいか。
A地区とB地区の平均収入をさらに平均化させて、
時系列分析などをして意味があるのか。
分散や尖度、歪度に差が無い言える時に有効とか、
トレンド、周期性の差が無い時に有効とか、
何か明確な基準みたないなものがあれば教えて下さい。
0180１３２人目の素数さん
2010/01/17(日) 11:39:24何か意味があると思うならすればいい。
0181179
2010/01/17(日) 12:23:30回答ありがとう御座いました。
ttp://www.data.kishou.go.jp/climate/cpdinfo/temp/clc_wld.html
一応、こういった事例は見ておりまして、
陸地海上などの観測点の条件や面積、緯度の違いによる重み付けなどで調整し、
平均値が扱われているのは承知しております。
個別案件としてではなく、何か普遍的な考え方があればと思いまして、
他に詳しい方がいらしたら、再度お願いします＞＜
これで終わるのも少々悲しいので・・・
0182１３２人目の素数さん
2010/01/17(日) 14:19:38普遍的な考え方。
状況に応じて重み付けして平均する。
クラス毎の平均点から学年の平均を出す時は、各クラスの人数を考慮するってのは、小学校で教わること。
0183１３２人目の素数さん
2010/01/17(日) 14:24:02ガンの検診にあたって、自覚症状がある人(S)が25%、ない人(NS)が75%であるとする。
Sのうち6%がガンを持ち、NSのうち1%がガンを持っていることわかっているとする。ガンにかかっている人(C)で自覚症状がない確率P(NS｜C)を求めてください。
0184１３２人目の素数さん
2010/01/17(日) 15:10:11気象統計の基準だって定期的に見直しが入って変わってるよ
そこにある手法だって今現在の気象庁が提示する一案に過ぎない
統計手法は目的によって選択されるものであって、統計学者以外に
気象学者と経済学者が存在するのはそういう理由だ
本当に普遍的で意味のある議論がしたいなら
普遍的な課題を抽出して明確に定義してみたらいい
0185１３２人目の素数さん
2010/01/19(火) 14:59:28ARモデルの次数決定にAICを使っているのですが、プログラムで計算させるとなぜか負の値も出てきます。
テキストには「AICは小さいほどよいモデルが選択できる」とのことなのですが、これは0に近い値をとるのか、マイナスの最小の値を取るのかわかりません。
そもそもマイナスなんて出てこないのでしょうか？AIC計算に使った式は
AIC(m) = n * (log(2 * pi * variance ) + 1) + 2 * ( m + 1 );
です。varianceは分散のことです。分散が 0<variance<1のときだとマイナスは出ると思うんですが…
どうかご教示お願いします！ちなみに使ってるプログラミングツールはMATLABです。
0186１３２人目の素数さん
2010/01/19(火) 16:04:50その式を見る限り variance が小さければ負になりうる
ただたしかその variance は生の計測量の分散ではなくて
規格化（標準正規分布にしたがう変数の２乗になるように）
して定義するのではないだろうか？
生のデータは数値の単位をどうとるかで分散は変わってしまう
（たとえば長さならば m と km で数値は1000倍変わる）
0187１３２人目の素数さん
2010/01/19(火) 19:29:59式が間違っていると思います。AICは負の値はとりません。
0188１３２人目の素数さん
2010/01/19(火) 23:14:30式は時系列問題に詳しくないので正しいのかどうか分からないが。
（通常の回帰で正規分布の場合と少し違うけど）
0189１３２人目の素数さん
2010/01/19(火) 23:16:360190１３２人目の素数さん
2010/01/20(水) 00:17:51右辺の第一項も第二項も負の値を取りえない。
AIC = -2log L + 2(k + 1)
という定義でも同様。
0191１３２人目の素数さん
2010/01/20(水) 00:23:08離散分布なら確率だから0と1の間しか取らないけど
連続分布ならそんな制限はないよ。
0192１３２人目の素数さん
2010/01/20(水) 16:29:00統計学の内容って経済、数学科、工学部(情報系?)のそれそれで学べる内容が違うんでしょうか？
それとも学べる内容などは同じで論文書くときにどの分野で使うか程度の違いなんでしょうか？
ちなみに野球やサッカーなどのスポーツでのデータを色んな角度から検証できるような
分析方法を学びたいと思ってます。
0193１３２人目の素数さん
2010/01/20(水) 19:24:20小さければ小さいほどは
マイナスならばマイナスほどです。
エントリピーじゃないから０におさまるわけじゃ〜ない
0194１３２人目の素数さん
2010/01/20(水) 20:17:47入門なら基礎知識部分は同じ。でも例が分野によって随分違う。
中級以上では応用的手法が中心になるので、扱う内容が分野で全く違う。
スポーツだと医学系の統計が近い感じ。
その３分野の中だと実験ありの工学系かな・・・
0195１３２人目の素数さん
2010/01/21(木) 00:06:28分野によってデータに癖がある。
経済学で用いられる統計は、実験が難しいなどの理由から、理工系の統計とは違う技術が必要だったりする。
まあ、基本は一緒だけどね。
0196１３２人目の素数さん
2010/01/21(木) 00:43:28１０個の試料について、ある物性値を測定原理の異なるＡ法とＢ法で測定しました。
いずれの方法の分析誤差とも（ほぼ）正規分布に従うこととしまして、
この2つの方法による各測定値は等しいといえるのかどうか（Ａ法による値とＢ法による値との間に差がないのかあるのか）
検定したい時は一対標本のｔ検定を行えば宜しいのでしょうか？
また、3つ以上の分析方法（Ａ，Ｂ、Ｃ法等）間で同様の検定を行いたい時はどんな検定方法があるのでしょうか？
（３つ以上にまたがる対象間での検定には分散分析と用いると聞きましたが、上の例の場合、
対応ある場合の３つ以上の値の分散分析のようなものがあるのでしょうか？）
上記２点、お教え下さいませんでしょうか？
お願い致します！
0197１３２人目の素数さん
2010/01/21(木) 07:33:13野球やサッカーのデータを入手できるあてはあるの？
あと、例えデータを入手できたとしても大学の卒業研究や修士論文のテーマ
として一回それらを分析し、それっきりになる（職業にはできない）と思うけど、
それでいいの？
0198１３２人目の素数さん
2010/01/21(木) 22:43:170199１３２人目の素数さん
2010/01/22(金) 00:02:550200１３２人目の素数さん
2010/01/22(金) 00:07:03反復測定分散分析でggr
0201１３２人目の素数さん
2010/01/22(金) 13:48:35データが相関を持つような場合は、どのような方法を使えばよいのでしょうか？
通常のカーネルを利用しても良いのでしょうか？
0202１３２人目の素数さん
2010/01/22(金) 21:40:41Σd|n μ(d)Σa|n/d f(a)=Σa|nΣd|n/aｆ(a)μ(d)
の等号成立の理由がわかりません。
どなたか教えてください。
0203１３２人目の素数さん
2010/01/22(金) 23:53:26説明変数にダミー変数を用いる数量化理論1類において、
構築された回帰式を回帰診断したいのですが、
残差プロットはどう見ても規則性があります。
どこからみても、回帰式の前提である残差のランダム性、均一性、正規性が得られて
いるようには見えません。
数量化理論1類の回帰式では残差による回帰診断は必要ないものなんでしょうか？
0204１３２人目の素数さん
2010/01/23(土) 01:03:02アイテム・カテゴリが少ないと縞模様になったりするかもしれないが、
誤差に正規性が仮定できるような状態だと回帰診断も普通にできると思う。
0205１３２人目の素数さん
2010/01/24(日) 00:33:18ご回答ありがとうございます。
２変数で回帰式を構築すると縞模様どころか平行2本線になりますが、
こんな残差プロットでも世間様に認めていただけるものなのでしょうか？？
0206１３２人目の素数さん
2010/01/24(日) 02:44:252変数？1アイテム2カテゴリということ？
回帰診断より説明変数が少ないことが問題だと思うけど。
0207１３２人目の素数さん
2010/01/24(日) 11:21:09の数が少ない方が、よりよい回帰モデルと見なされることはご存じですよね？
標本数が少ないことは問題になりますが、変量数が少ないことが問題と
言われても。。。
0208１３２人目の素数さん
2010/01/24(日) 13:00:16【問】ある癌の危険因子の研究において、喫煙の有無と癌の有無に関する次のデータがある。
喫煙者 非喫煙者 計
癌有 100 120 220
癌無 170 280 450
計 270 400 670
(1) 喫煙者に対する非喫煙者の癌の相対オッズを推定しなさい。
(2) 相対オッズの95％信頼区間を計算しなさい。ただし。ｌｎ(OR)の標準誤差が
√(1/a + 1/b + 1/c + 1/d)
であることを用いること。(ｌｎは自然対数、a、b、c、dは2x2分割表の各セルの数を表す)
(3)喫煙と癌の有無の間に関連はないという帰無仮説を有意水準0.05で仮説検定しなさい。
0209１３２人目の素数さん
2010/01/24(日) 14:42:58単に変数が少なければいいってもんじゃなく、モデルとして適切な状態で、少なくできるなら、少ない方がいいって話。
回帰分析の結果がおかしい時は、定式化がおかしい場合が多く、その中には変数が足りないってのもある。
誤差項の動きがおかしい時に、変数を増やしたらうまくいくことは多く、それは必要な変数が抜けてたってこと。
0210１３２人目の素数さん
2010/01/24(日) 15:04:23私の理解が間違っていなければ、2種類のダミー変数からなる重回帰式で
「残差プロット」を描画すると、必ずランダム性のない二本線が描かれます。
他の統計量、回帰診断に異常が認められなくても、です。
これは、あなたの言う「モデルとして適切な状態」と言えるのでしょうか。
あるいは、２カテゴリの数量化理論１類そのものが邪道だということに
なるのでしょうか？？？
0211１３２人目の素数さん
2010/01/24(日) 18:28:14標本平均Xがμの有効推定量となることを証明するのはどうしたらいいのでしょう？
0212１３２人目の素数さん
2010/01/24(日) 18:32:52不偏推定量の範囲でだったらクラメルラオの不等式利用とかでどうなる？
0213１３２人目の素数さん
2010/01/24(日) 18:57:19>>212
さんくす
0214１３２人目の素数さん
2010/01/24(日) 22:30:23サンプルサイズを決めたいけど、回答比率が判らん。
しかも酷い歪度か双方形なのは明らか。
nを決める式が判らんｗ
誤差表の50%のところ見て、適当に決めようかな。
0215１３２人目の素数さん
2010/01/24(日) 22:53:31あ〜マジどーしよー
0216１３２人目の素数さん
2010/01/25(月) 00:39:53話が変わってきてない？
最初の話では回帰診断が異常なんだけどってことで
よく聞いたらカテゴリが2つだけ。
それなら変数が少ないんじゃないのかってこと。
異常じゃないなら2つでもいいよ。
0217１３２人目の素数さん
2010/01/25(月) 08:23:49私の質問の仕方が悪かったようで申し訳ありません。
趣旨は、「残差プロット」の「ランダム性の欠如」が認められる
回帰モデルでも「正常」と判断してよいのか否か。
です。
一般の重回帰モデルの残差プロットでは、横軸に予測値を使用したとき、
「パターンが認められないこと」が回帰診断の内容の一つに数えられます。
これは、おっしゃるとおり不適切な変量を看破するためだと考えます。
しかし、ダミー変数のみで構築した回帰式では、このパターンができて
しまいます。
そこで、数量化理論と一般の重回帰分析では残差プロットの取り扱い方に
相違があるのではないかと考えた次第です。
いかがなものでしょう？
0218１３２人目の素数さん
2010/01/25(月) 22:03:02しかし、説明変数が少ないと決定係数も低いだろうし、
外れ値が出たり、正規性が狂ったりするのはある程度は仕方がない。
0219１３２人目の素数さん
2010/01/25(月) 23:35:10補正するためには、気温とか、年間行事の変数が必要だわな。
ものの例えだよ。
0220219
2010/01/25(月) 23:38:170221１３２人目の素数さん
2010/01/26(火) 00:09:34確認ですが、モデルの回帰診断に関して
数量化理論１類においては残差プロットのランダム性の確認は不要、
ということで良いということですね。
そうすると、連続変数を説明変数とする一般の重回帰分析で
なんでランダム性が意味を持つかわかりませんね。
数量化理論ではなにかを諦めているんでしょうか。。
0222１３２人目の素数さん
2010/01/26(火) 00:41:23不要とは言っていない。程度の問題。
とてもひどい外れ値だったらやはりおかしいし、
正規性も端の方ではなく真ん中あたりでも
全然直線じゃないといくらなんでも違うと言える。
数量化理論で諦めている部分はこう考えたら分かる。
X,Yともに量的な変数でY=X+eと正規分布に従う誤差で
きれいに説明できるとする。このXに対し、平均より大きいものを１
小さいものを０としてカテゴリにすると当然説明力は落ちる。
そしてそのずれが回帰診断にも影響する。
こういう状態ではなくカテゴリが真に定数の効果をもつなら
連続変数の場合と変わりなく回帰診断できるだろう。
0223１３２人目の素数さん
2010/01/26(火) 00:51:40なんで残差のランダム性が重要かといえば、回帰分析は誤差項が独立で
平均０、分散σ^2の正規分布に従うと仮定されたで求められているから。
これは、どういうことかといえば、推計された結果が、推計式を中心に
分散σ^2の正規分布をしていると考えることができるということ。
推計結果のずれが本当の値を中心に分布してるってこと。これがあるから、
推計結果を統計的に評価できるわけ。
これが崩れると、推計結果を評価する時にいろいろ問題がおきるので、
さまざまな対処方法がある。
それと、残差プロットがランダムかどうかが重要なのは時系列データ。
これは、データの順番が残差の順番を規定するから。
残差に何らかの傾向があるということは、定式化の間違っている。
クロスセクションの場合、データの順番を入れ替えれば残差プロットは
変化するので、プロットの動き自体にはあまり意味が無い。
その場合に大切なのは、分散が一定になっているかといったチェック。
どちらの場合も、残差の分布が正規分布をしているかどうかが大切で、
これが、おかしいと回帰分析の前提条件が崩れる。
0224１３２人目の素数さん
2010/01/26(火) 10:18:410225１３２人目の素数さん
2010/01/26(火) 19:49:070226１３２人目の素数さん
2010/01/26(火) 23:18:41>こういう状態ではなくカテゴリが真に定数の効果をもつなら
>連続変数の場合と変わりなく回帰診断できるだろう。
カテゴリが真に定数の効果をもつ数量化１類が想像できません。
どんな方法でも良いので例示していただけると幸甚です。
>>223
>平均０、分散σ^2の正規分布に従うと仮定されたで求められているから。
残差プロットにパターンが認められても正規性バッチリなことはあります。
パターンがイクナイ説明になってないんでないでしょうか？
>それと、残差プロットがランダムかどうかが重要なのは時系列データ。
y推定値に対する残差プロットもランダム性が重要だと言われているようですが。。
0227１３２人目の素数さん
2010/01/26(火) 23:59:30性別による効果のような初めから分類であるものなら定数もありうると思う。
0228１３２人目の素数さん
2010/01/27(水) 00:24:10元から分類の例としてアヤメの種類を使ったとします。
がくの長さを目的変数として数量化理論でモデル化すると、
がく長予測値に対する残差プロットはきれいな垂直3本線となります。
しかし、正規性はあります。推定値も有意です。てこ比も正常です。
さて、これは良いモデル？悪いモデル？
0229１３２人目の素数さん
2010/01/27(水) 01:51:52まさによいモデルの例なんじゃない？
3本の線ではあるが、そのこと以外は回帰診断で問題はない。
0230１３２人目の素数さん
2010/01/27(水) 02:21:43「そのこと以外は回帰診断で問題はない」のは先刻承知です。
もんだいは「そのこと」。
これが良いモデルなら、連続変数を用いた一般的な重回帰モデルで
同様のパターンが現れても、「そのこと以外は回帰診断で問題はない」
という理由で良いモデルと承認されることにならないか。
ここらへんの判定基準を知りたいわけです。
0231１３２人目の素数さん
2010/01/27(水) 12:04:13まず、正規性とパターンの話は、仮に残差の分布が正規分布に（みえるもの）
になっていたとしても、残差にパターンがあるということは、誤差が相互に
独立という仮定を満たしていない。
ということは、残差のパターンを考慮することで、より適切な結果を推計
できるってこと。
誤差が個々に独立で、ある正規分布に従うということは、それ以上の推計の
改善が見込めないってことになる。
残差のパターンについては、例えば出席番号順に並べた成績のデータが
あったとして、その残差にパターンがみられたとしても、出席番号の並び
自体に成績との因果が無いのであれば、そのパターンは考える必要が無い
よね。
ただし、データの並び自体に意味がある場合（例にだした時系列など）は、
その残差がどういうパターンを示すかに意味がある。
また、非説明変数を小さいものから並べた場合、大きくなるしたがい、
誤差の分散が大きくなることがある。こういうのを不均一分散というけど、
これが起こると、誤差が個々に独立で一定の正規分布に従うという仮定が
崩れる。（σ^2が変化してしまっているということ）
この不均一分散の場合も推計結果の統計的な評価に問題が起こる。
普通、グラフを書く時は、右上に行くにしたがって数値が大きくなるので、
この場合、それに対応する形でデータを小さいものから並べて残差をみれば
不均一分散のせいで残差にパターン（右に行くほどばらつきが大きくなる）
などがみられる。
回帰分析の意味（どういう仮定がおかれた上で分析されており、それによって
どういう統計的な評価ができるのか）を考えてみた方がいいと思うよ。
0232１３２人目の素数さん
2010/01/27(水) 23:03:59はかりの校正をしようとしています。
規格幅1.43g-1.57g ±0.07gの物を計る計量器の器差は分銅の0.02%とする
という手順書があります。
この根拠が知りたいです。
また、規格幅0.49g-0.51g ±0.01gの物を計る計量器の器差は分銅の何パーセントとすれば
良いのでしょうか？
0233１３２人目の素数さん
2010/01/27(水) 23:07:19ポアソン分布を載せてて、その分散の導出を載せてない本の方がレアだよね
0234１３２人目の素数さん
2010/01/28(木) 00:43:24>残差にパターンがあるということは、誤差が相互に独立という仮定を満たしていない。
>ということは、残差のパターンを考慮することで、より適切な結果を推計できるってこと。
適切な連続変数との組み合わせによってパターンが消失することは確かにありますね。
しかし、ダミー変数のみで構築された重回帰式ではパターンが消えることはありません。
すなわち、数量化理論１類では誤差独立の仮定を満たしていません。
なのに、回帰診断で「不適切」なモデルとして棄却されはしない。
>>228で例示したアヤメの例では、交差検証しても十分な予測性が確認できるので、
どうやら数量化理論そのものに無理があるというわけではないんじゃないかと思う次第。
謎が謎を呼び、もうわけわかりません。
たくさんの言葉と例示を使って懇切丁寧に解説していただいたというのに、ものわかりが悪くて申し訳ない。。
>回帰分析の意味（どういう仮定がおかれた上で分析されており、それによって
>どういう統計的な評価ができるのか）を考えてみた方がいいと思うよ。
問題点は次のように（私の中で）進化を遂げました。
「数量化理論１類モデルは、誤差が相互に独立という仮定が満たされないくせに
どうして重回帰モデルとして堅牢でいられるのか。」
0235１３２人目の素数さん
2010/01/28(木) 02:46:54読んでる本に、
N(μ,σ^2)でμ,σ^2 も未知という状況でσ^2を推定するには、
N(μ,σ^2)に従う独立な確率変数を２つ以上観測しなければならない
とあったのですが、何故なのですか???
0236１３２人目の素数さん
2010/01/28(木) 03:15:03数量化理論でも誤差は互いに独立なんだけど
何を勘違いしているのかな？
（3本の直線になることと誤差の独立とは直接的に関係ないよ。）
0237１３２人目の素数さん
2010/01/28(木) 03:16:58その本にはσ^2を推定するための式は書いてないの？
書いてあれば実際データが1つしかないときに計算してみたら分かるよ。
0238１３２人目の素数さん
2010/01/28(木) 05:59:22分散てのは、データの散らばりかたを表してるってのはいいかな？
観測されたデータが一個しかない（つまり散らばってない）時に、そこから母集団の散らばりかたを表せると思う？
0239１３２人目の素数さん
2010/01/28(木) 12:57:12i.i.d
のとき、θの最尤推定量を求めよ。
よろしくお願いしますm(__)m
0240１３２人目の素数さん
2010/01/28(木) 18:47:42P0(θ)はポアソン分布ですか？
0241１３２人目の素数さん
2010/01/28(木) 23:22:10グラフAにある特定の係数かけて、
更に切片つけたデータから出来たように見える
グラフBがある。幾つかのデータは改ざんされて
いるので、係数と切片の特定は困難。
統計的に一致率が高いとしたいです。
いい方法あったらよろしくお願いします。
0242１３２人目の素数さん
2010/01/29(金) 00:16:08最初にことわっておくが、私も計量器を使うことがあるというだけの素人です。
>>232にレスがないようなので敢えて挑戦します。
誰か、間違いを見つけた方がいらっしゃったら、バンバンご指摘願いたく・・・。
例えば、計量器で規格下限の1.43ｇが表示される場合、その分銅の重さは計量器内部で1.425ｇ〜1.434ｇ（Δ＝0.009ｇ）
になっていることになる。つまり正しく1.430ｇの分銅を測った時に、計量器の誤差が±0.0045ｇ（＝4.5ｍｇ）に収まって
いれば計量器の表示は1.43ｇとなり、性能を満たしていると判定できる。
「器差」という用語は俺はあまり使わないのでピンとこないのだが、計量器の校正をしようとしている訳だから、ここでは
計量器の標準偏差だと思うことにする。違ったらすまん。
標準偏差をσとおくと、0.0045/3σ＝0.0015ｇ（＝1.5ｍｇ）だから、標準偏差が0.0015ｇであれば、この計量器は
実用上でほぼ問題はない。（いわゆる3シグマって奴。）
要するに、正しく1.430ｇの分銅を測った時の標準偏差が0.0015ｇ以下であればよいことになるので、
0.0015/1.43≒0.1％が必要な精度となる。
同じように、上限側1.57ｇで考えても0.0015/1.57≒0.1％
>>232の言う0.02％となると、およそ15σだから過剰なスペックのような気がする。
（もっとラフに考えると、レスにある規格範囲の中央値は1.50ｇだがその0.02％となると0.0003ｇ（＝0.3ｍｇ）であって、
これは一般に化学天秤とか精密天秤とか呼ばれる計量器での最小ケタ数のオーダーに匹敵する。つまり化学分析並みの計量精度を
求めているようにも思えるが、そんなに精密な計量が必要なの？）
２つ目の質問は上の内容（間違ってなければだが）を逆に辿れば計算できると思う。
とまぁ、適当にレスしてみたが、レスした自分が一番自信がない。
参考になれば幸いなのだが・・・。
0243１３２人目の素数さん
2010/01/29(金) 09:13:39そうなんですか？
残差がランダム（独立）であれば、パターンは認められないという認識ではいけないの？
重回帰分析の誤差項における仮定（正規性、不偏性、等分散性、独立性）のうち、
等分散性、独立性（不偏性も？）が欠落しているという認識なのですが。。
0244１３２人目の素数さん
2010/01/29(金) 20:02:09回答ありがとうございます。
器差というのは、分銅の真の値と実際に表示される値との差のことです。
つまり、誤差です。
私も今、ＱＣ検定２級の勉強をしてまして、統計学を勉強している最中です。
0245１３２人目の素数さん
2010/01/29(金) 22:41:09残差プロットでみるのは上下の動き。
左右の動きは固定なので関係ない。
たとえば曲がっているかどうかも上下の動きが
安定していないことを見ている。
もちろんXが量的である場合、3カ所でしか測定していないなら
その3カ所ではOKでも、その間は？という問題が生じるが、
これは誤差に関する情報が足りないと言うだけ。
その3カ所に関しては仮定と矛盾しない状況はありうる。
0246１３２人目の素数さん
2010/01/29(金) 22:42:16残差プロットでみるのは上下の動き。
左右の動きは固定なので関係ない。
たとえば曲がっているかどうかも上下の動きが
安定していないことを見ている。
もちろんXが量的である場合、3カ所でしか測定していないなら
その3カ所ではOKでも、その間は？という問題が生じるが、
これは誤差に関する情報が足りないと言うだけ。
その3カ所に関しては仮定と矛盾しない状況はありうる。
0247１３２人目の素数さん
2010/01/29(金) 23:40:49本当にものわかりの悪いやつですんません。
ランダム性（独立性）ってのは、隣り合う残差間に相関がないこと、ですね。
だったら、あやめの例における残差プロット縦三本線のパタンでは、独立性ありですね。
この例では等分散性が微妙なのですが、これは数量化理論の問題ではないようです。
もし残差プロット、斜めに3本線が現れるような数量化理論１類モデルができちゃったら、
これはランダム性に問題ありという判定になるのでしょうね、きっと。
これで間違いが無いようでしたら、粘着質問を終了します。
長々とおつきあいいただいてホントにありがとうございましたm(_ _)m
0248１３２人目の素数さん
2010/01/30(土) 04:39:19プレイヤー1 11勝15敗
プレイヤー2 9勝6敗
...
プレイヤーn 24勝25敗
があるとします。
1からnまでの各プレイヤーの勝敗を表裏50%のコイントスで決めた際の分布と、実際の分布がどれだけ違うか調べるにはどうすればいいですか？
プレイヤーの実力差がどれだけあるか、データから求めたいです。
0249１３２人目の素数さん
2010/01/30(土) 12:10:30プロクラステス回転とかで調べてみたらどう？
0250１３２人目の素数さん
2010/01/30(土) 14:00:42結局、元データと改ざんデータを散布図で打ち出して、
紙の縮尺変更と回転で合う座標とそれ以外をしらべたよ。
後は順番に並べて合う座標の相関みたら0.99だった。
合わないデータに使用したと推定される一次関数を調べて終了。
という感じのごり押しで今回は処理できました。
プロクラステス回転は勉強してみます。レスサンクス。
0251１３２人目の素数さん
2010/01/31(日) 01:56:42だけど、スポーツの勝敗は、統計に馴染まない気がする。
グーチョキパーの関係もあるし、
賞金が高いと「それは無いだろ」と言うのが、逆にありそうにも思える。
格闘技なんか、サンプル少ないし。
体壊れるからね。
0252251
2010/01/31(日) 02:09:14うっかりした。
■ このスレッドは過去ログ倉庫に格納されています