統計学の簡単な歴史と、統計に関するよくある質問　
　統計って、すぐ何が何だかわからなくなるので、忘れないようにメモしました。
　（ 青木先生のページ に感謝いたします。ただし解答が正しいかは自信なし）


１．統計値の推定
 ２．検定一般
 ３．２群の平均値の差の検定 （ｔ検定）
 ４．２群の差のノンパラメトリックな検定
 ５．３群以上の平均値の差の検定
 ６．３群以上の差のノンパラメトリックな検定
 ７．分割表・比率の検定
 ８．回帰・相関
 ９．検出力
 10．多変量解析一般
 11．重回帰分析
 12．判別分析
 13．ロジスティック回帰分析
 14．生存率の検定
 15．主成分分析・因子分析
 16．その他の多変量解析
１．統計値の推定

1733年 ﾄﾞ・モアブル (Abraham de Moivre, 1667-1754) ２項分布の極限、正規分布を発見
1922-1935年 Lindberg (1876-1932), Levy (1886-1971), Feller (1906-1970) ら、中心極限定理を証明
1934年 ネイマン (Jerzy Neyman, 1894-1981) 「信頼区間」を提唱 (J Royal Stastical Soc)

Ｑ1　標準偏差と標準誤差ってどう違うんですか？
 Ａ1 　標準偏差（SD）は観測値のばらつき。標準誤差（SE）は観測値から計算した統計量（たとえば平均）の標準偏差。標準誤差は 母標準偏差/√n と推定します。母標準偏差は標本標準偏差から推定します。

Ｑ2　分散と不偏分散ってどう違うんですか？
 Ａ2 　母分散の推定のために使うのは標本の不偏分散。これは偏差平方和をサンプルサイズnでなく自由度n-1で割って計算します。不偏でない標本の分散はほとんど使い道がありません。

Ｑ3　正規分布なら、標本平均±1.96×標準誤差 が母平均の95%信頼区間ですか？
 Ａ3 　大標本ならそうです。小標本の場合は、1.96の代わりに、ｔ分布表の、サンプルサイズ-1の数（自由度）で、両側確率0.05の欄の値（境界値）を使います。1.96より少し大きい。

Ｑ4　自由度って？
 Ａ4 　「変化させることができる値」ですが、説明は難しいです。計算の元はサンプルサイズか群の数。　個別に言えば、
・不偏分散を計算するときの自由度は、サンプルサイズがnとしてn-1。
・カイ２乗検定で使う自由度は、分割表の（行の数-1）×（列の数-1）。
・ｔ検定で使う自由度は、分散の等しい２群の検定ならば、両群のサンプルサイズをn1,n2とすると、n1+n2-2。（分散が異なると自由度は小数になったりする）。
・Ｆ分布の自由度は２つあって、n1-1とn2-1（nにサンプルサイズが入ったり群の数が入ったり）。

Ｑ5　２群の平均値の95%信頼区間が重なっていれば5%の危険率で有意差なし、重なっていなければ有意差あり、でよいですか？
 Ａ5 　平均値の信頼区間が重なってなければ有意差はありますが、重なっていても有意差があることがあります。平均値の差の検定と等価なのは、平均値の差の信頼区間推定です。

Ｑ6　中心極限定理って何でしたっけ？
 Ａ6 　母集団の分布がどうであっても、そこから無作為抽出した標本の統計量は正規分布に従う。

Ｑ7　再サンプリング法って、どうしてそんなことが許されるのでしょう？
 Ａ7 　再標本も母集団から無作為抽出したものと見なせれば、中心極限定理によって、母集団の平均や分散や信頼区間を推定できるのです。

Ｑ8　再サンプリング法の、ブートストラップ法とジャックナイフ法ってどう違うんですか？
 Ａ8 　ジャックナイフの方が先に開発され、計算量は少ないです。でもブートストラップの方がすぐれた結果が出るので、計算できるなら後者がおすすめ。


２．検定一般

1925年 フィッシャー (Ronald A Fisher, 1890-1962) 著作「研究者のための統計的方法」
 （ 0.05を有意水準にすること、正規分布の 68%-95%-99.7%ルール、各種分布の統計量表など） 　
1928年 ネイマン (Jerzy Neyman, 1894-1981) と ピアソン (Egon Pearson, 1895-1980) 「帰無仮説」「対立仮説」に仮説検定を定式化 (Biometrika)

Ｑ9　差の検定では、Ｐが小さいほど、差が大きいのでしょうか？
 Ａ9 　Ｐが小さいとは、差（効果量）が大きいか、サンプルサイズが大きいのどちらかです。実質的な差を示すのは効果量であって、Ｐではありません。標本をものすごくたくさん集めれば、ほとんど差がなくともＰは有意にできます。（だから検定なんて無意味だ、なんて極論する人もいます。）

Ｑ10　両側検定と片側検定はどう使い分けるのでしょうか。
 Ａ10 　たとえば平均値の差の検定なら、前もってどちらの群の方が平均値が大きいとわかっているなら片側検定でよいです。不明なら両側検定です。

Ｑ11　ある薬の効果を判定したいのですが、片側検定だと有意になるのに両側検定だと有意になりません。片側検定で効果ありとして良いですか？
 Ａ11 　その薬が悪化させるはずがないと理論的に言えるなら、片側検定でいいのです。

Ｑ12　片側検定のＰ値は、両側検定のＰ値の半分になるのでしょうか。
 Ａ12 　正規分布のように、左右対称な分布であればそうなります。なお理論的に片側検定がありえない検定があります。分散分析とか、３群以上の比率の差の検定とか。

Ｑ13　対応のあるデータの検定とは？
 Ａ13 　同じ標本を条件を変えて測定する場合です。

Ｑ14　一連の動物の、右眼にだけある処理をして、右眼と左眼の測定値を比較したいのですが、これは対応ありでしょうか？
 Ａ14 　対応のある検定の方が有意差は出やすいので、対応ありでやりたくなります。対応がある理由を明確に説明できれば対応ありでよく、できなければ対応なしの検定です。

Ｑ15　データ中に飛び離れた外れ値があります。除いてしまっていい？
 Ａ15 　正規分布するはずのデータならスミルノフ・グラブス検定をして除いてしまう手はあります。でも外れの影響が少ないノンパラメトリック検定をするのが正統の方法かな。


３．２群の平均値の差の検定 （ｔ検定）

1908年 Student (本名 William Goset, 1876-1937) 平均の標準誤差 (Biometrika)
（この時はz分布と命名。t分布という言葉を提案したのは1922年のフィッシャーへの手紙）
1947年 ウェルチ (Welch BL) studentのt検定を拡張 (Biometrika) （Welchさんのフルネームと生没年がわかりません）

Ｑ16　ｔ検定はどんな時に使う検定でしょうか？
 Ａ16 　データが正規分布するときの平均値の差の検定です。ただし「データが正規分布するか？」についての問題は、次項で。

Ｑ17　標本数が少ない場合、正規性の検定をするとたいてい「正規分布でないとはいえない」となるのですが、標本数が少ないときの平均値の検定はｔ検定でいいんでしょうか？
 Ａ17 　データの検定によって「正規分布である」という積極的な証明は困難なので、小標本の正規性の検定ではご質問のように「なんともいえない」という結果になります。
　考えられる対策として１．理論的に正規分布になりそうだと論証する。２．ｔ検定をするならStudentでなく、分布がくずれていてもまだ信用できるWelchの方法を使う。３．ｔ検定はやめて、ノンパラメトリックな並べ替え検定で平均値の検定をする。４．平均値の検定はあきらめて、Mann-WhitneyのＵ検定（平均順位差の検定）に変える。

Ｑ18　頑健性って何ですか？
 Ａ18 　統計手法が、使用の前提を満たなさくてもある程度使える事。「ｔ検定はサンプルサイズが大きければ正規性の前提について頑健である。」は正しい。言い直すと、「サンプルサイズが大きければ、実は正規分布してない間隔尺度データにも、ｔ検定は使える。」

Ｑ19　ｔ検定とｚ検定ってどう違うんですか？
 Ａ19 　ｚ検定とは母集団の分散がわかっているときの平均値の検定ですね。でも自然科学ではそういう検定の機会はあまりないのでは。一つの標本が、正規分布中のどこに位置するかというｚ値はよく使いますが。

Ｑ20　ｔ検定をするとき、まず２群が等分散かどうかの検定をして、等分散ならStudent、非等分散ならWelchの検定をするのですか？
 Ａ20 　Welchの検定はStudentの検定の拡張なので、分散の検定はやらずに、みなWelchの検定でよいです。等分散性の検定をして「差があるとはいえない」という結果でも、「差がない」とは言い切れないし。

Ｑ21　検定したい２群のサンプルサイズが、２倍以上違うんですが、ｔ検定していいんでしょうか？
 Ａ21 　サンプスサイズが２群均等の方が検出力は高いですが、かまいません。マン・ホイットニー検定も同様です。

Ｑ22　２次元座標に分布する２群の位置に有意差があるかないかの検定方法は？
 Ａ22 　多変量に拡張された平均値の差の検定ですね。多変量分散分析の、Wilksのラムダというのを計算します。対応のある２群だったら対応のある多変量分散分析。


４．２群の差のノンパラメトリックな検定

1935年 フィッシャー 著作「実験計画法」 に並べ替え検定を記載
1945年 ウイルコクソン (Frank Wilcoxon, 1892-1965) 順序づけによる比較 (Biometrics Bull)
1947年 マン (Henry B Mann, 1905-2000), ホイットニー (D Ransom Whitney, 1915-2007) ２つのランダム変数群の大きさの比較 (Ann Mathemat Stat)
Ｑ23　パラメトリック検定、ノンパラメトリック検定って？
 Ａ23 　データが正規分布に従えばパラメトリック（対数変換などすれば正規分布になる場合なども含めて）、そうでなければノンパラメトリック検定。以後、ノンパラメトリックな検定法について。

Ｑ24　マン・ホイットニー検定は中央値の差の検定ですか？
 Ａ24 　違います。平均順位の差の検定です。ただしこの検定を使うようなデータのグラフ表示には、代表値として中央値をよく使います。

Ｑ25　正規分布するデータにｔ検定を使わず、あえてマン・ホイットニー検定をすると、検出力はどのくらい落ちますか？
 Ａ25 　検出力は3/π倍、つまり0.95倍になります。あまり落ちないとも言える。

Ｑ26　並べ替え検定（permutation test）って、マン・ホイットニー検定のこと？
 Ａ26 　ｎが少ない場合のマン・ホイットニー検定は、平均順位の並べ替え検定です。正確なＰが出ます。並べ替え検定は他に、平均値や中央値や分散なども検定して正確なＰ値を出せます。ただしサンプルサイズが大きくなると計算量が多くなるのが欠点。

Ｑ27　正確なマン・ホイットニー検定と、正確でないマン・ホイットニー検定があるんですか？
 Ａ27 　並べ替え検定による平均順位差の検定が正確なマン・ホイットニー検定です。サンプルサイズが小さく同順位がないときに使われ、正確なＰを出すはず。一方、普通にマン・ホイットニー検定と言われるのは、同順位があったりサンプルサイズが大きい時、正規分布を使って近似Ｐを出す方法です。

Ｑ28　マン・ホイットニーのＵ検定は、２群の分散が異なっていてもできますか？
 Ａ28 　並べ変え法を使うのでなければ、できません。２群の分散が異なっている場合のノンパラメトリック検定として、Brunner-Munzel検定があります。そんな検定法は私の統計ソフトにありませんって？では並べ替え検定が可能であればそれを使うか、間隔尺度ならばｔ検定の頑健性に頼ってWelchのｔ検定もありかも。

Ｑ29　ウィルコクソンの順位和検定とマン・ホイットニーのＵ検定は同じ？
Ａ29 　まぎらわしいことに、ウィルコクソンの検定には順位和検定（rank sum test）と符号付き順位和検定（signed rank test）があります。前者はマン・ホイットニーのＵ検定と同じで、対応のない２群の差の検定です。後者は対応のある２群の差の検定です。

Ｑ30　２群の差のノンパラメトリックな検定で、５％水準で有意と言うには、最低必要なサンプルは何例？
 Ａ30 　対応のある片側検定で５例、両側検定で６例、対応がなければ片側で７例、両側で８例必要。


５．３群以上の平均値の差の検定

1923年 フィッシャー、分散分析 (J Agricultural Science)
1927年 フィッシャー、共分散分析 (J Agricul Sci)
1936年 ボンフェロニ (Carlo E Bonferroni, 1892-1960) 多重検定の理論 (Pub R Istit Super Sci Econom Commerc Firenze)

Ｑ31　３群の平均値の有意差を検定したいのですが、ｔ検定を各２群間で３回くりかえせばよいですか？
 Ａ31 　その検討全体で第１種の過誤を5%以下にしたいのなら、１回ずつのｔ検定の有意水準は5%/3 =1.7%にしないといけません。これがボンフェロニの方法です。このように「多重比較」は２群間の検定をくり返せばいいというものではありません。これは実用統計のややこしい部分の多くを占め、以下Ｑ46まで３群以上の検定の話が続きます。

Ｑ32　１つの論文の中で統計学的検定を合計100回しているのですが、それだけの数の多重性の調整をして１つの検定あたりの有意水準をきびしくしないといけないのですか？
 Ａ32 　いえ、ひとまとまりと見なせる検定間で多重性の調整をすればよいです。（この「ひとまとまりと見なせる」ファミリーというのがどの範囲かが、よく議論になるのですが。）

Ｑ33　正規分布する３群以上の平均値の有意差を検定する一番有名な方法は？
 Ａ33 　分散分析でしょう。ただしこの手法の最大の欠点は、どの群とどの群の間に差があるのかがわからない事。「差があるとはいえない」の証明には使えるけれど、「差がある」場合にこれだけでは役に立たない。それでＱ41を参照。

Ｑ34　Ｆ分布って？
 Ａ34 　分散はカイ２乗分布に従い、独立な２つのカイ２乗分布に従う変数の比はＦ分布に従います。

Ｑ35　分散分析のＦ値って？
 Ａ35 　群内分散と群間分散の比。同じ母集団からの標本なら１くらいのはず。１から離れていれば群間で平均が違うわけです。その値とＦ分布表の有意水準のＦ値と比べるのが分散分析。

Ｑ36　対応のあるｔ検定のように、対応のある分散分析ってありますか？
 Ａ36 　あります。別名は乱塊法。なお対応のある１要因の分散分析は、対応のない２要因の分散分析と、計算式上は同様になります。

Ｑ37　対応あり、なしが入り乱れた多要因の分散分析が必要になり、頭が混乱しています。
 Ａ37 　対応のある２群の差の検定は、差が０か否かの検定と同じです。だから、対応ありデータが２群だけなら、その差の分析にすれば、モデルを少し単純にできるかも。（ただし交互作用のチェックはできないが。）

Ｑ38　３群以上の、分散の差があるかどうかの検定方法は？
 Ａ38 　バートレット検定ですね。なおどの群とどの群に差があるかは、ボンフェロニの方法で有意差検定するしかなさそうです。

Ｑ39　共分散分析って、一言でいうと何ですか？
 Ａ39 　ただの分散分析では有意差が出ない時、共変量の影響を除けば有意差が出るかも、と思った時に使う手法。または重大な共変量の影響を除くべしと言われた場合の手法。その共変量は連続量。（共変量が連続量でなくカテゴリーだったら、使う分析法は多要因の分散分析です。）

Ｑ40　共分散分析で、従属変数と共変量の回帰係数の傾きが、各群で異なるとこの分析は使えない？
 Ａ40 　そのとおり。言い換えると、共変量とカテゴリー変数との交互作用が有意にあったらその共変量は除けません。主効果の解釈も簡単にはできなくなります。どうしたらいいか。一案として、カテゴリー変数の方をダミー２値変数に（Ｑ66参照）して、重回帰分析に変えてみると新たな解釈ができるかも。

Ｑ41　分散分析でどこかの群間で有意差があるとなったら、どの群間に差があるのか調べる方法は？
 Ａ41 　１つの対照群と他の群の比較をするならDunnett検定。すべての群間の比較をするならTukey-Kramer検定か、Peritzの方法。ｔ検定しておいて有意水準の調整をするBonferroniの方法もある（これはあらゆる検定で使えるけれど検出力が落ちる）。各群を合計したもの同士までかたっぱしから検定するのがScheffe検定（検定回数が多いだけ検出力が低くなる）。間隔尺度になってる群間比較（薬の量を規則正しく変えた各群の比較など）には、Williams検定というのもあります。

Ｑ42　分散分析を行わずに、最初からDunnettやTukeyなどの多重検定をしてはいけないのですか？
 Ａ42 　してもいいのです。歴史的に、多群の検定としては分散分析が一番昔からあるので、最初に分散分析をする論文が多いだけで。

Ｑ43　対応があるデータを多重比較できるパラメトリックな統計法は？
 Ａ43 　普通は、対応のあるｔ検定をしてボンフェロニ法で有意水準を調整。あと、ノンパラ手法でよければFriedman検定の拡張もあります。Ａ46を参照。


６．３群以上の差のノンパラメトリックな検定

1937年 フリードマン (Milton Friedman, 1912-2006) 対応のある順位分散分析 (J Am Stat Assoc)
1952年 クラスカル (William H Kruscal, 1919-2005) とワリス (Allen Wallis, 1912-1998) １要因の順位分散分析 (J Am Stat Assoc)
Ｑ44　多群のデータの差をノンパラメトリックに検定をする方法は？
 Ａ44 　１要因の分散分析に対応するのが、対応のないデータではKruscal-Wallis検定、対応のあるデータではFriedman検定です。

Ｑ45　２要因の分散分析のノンパラメトリックな方法は？
 Ａ45 　ないです。それをやらざるをえない人は、きっと何食わぬ顔をして２要因の分散分析でやってるでしょう。まあ分散分析は正規性の前提については頑健だから、よしとしましょうか。

Ｑ46　多群のうち、どの群間に差があるかのノンパラメトリックな検定は？
 Ａ46 　対応のない場合は、Dunnett検定のノンパラがSteel検定、Turkey-Kramer検定のノンパラがSteel-Dwass検定。Peritzの方法も可。その他は知りません。ボンフェロニならどんな場合も使用可能。
Ａ46 　対応のある場合は、普通はウィルコクソンの符号付き順位和検定をしてボンフェロニで有意水準を決めます。青木先生のwebには、 フリードマン検定した後多重比較する方法の解説と Rプログラムがあります。


７．分割表・比率の検定

1876年 ヘルメルト (Friedrich Helmert, 1843-1917) 正規分布の2乗和の分布、χ2分布を発見 (Z Mathematik Physik, Astro Nach)
1900年 ピアソン (Karl Peason, 1857-1936) χ2分布を利用した分割表の検定 (Philos Magazine)
1935年 フィッシャー 著作「実験計画法」で分割表の正確検定
Ｑ47　イエーツの連続性補正って、どんな時にやるの？
 Ａ47 　カイ２乗検定は元来大標本での検定です。２×２分割表で、期待度数が少ないセルがあるときこの補正をするのがいい、と言われます。（ただしイエーツの補正をすると結果は保守的、有意になりにくくなる。）
Ａ47 　でもコンピューターを使えるなら最初からFisherの正確検定をしたほうがいいかも。

Ｑ48　対応のあるデーターの２×２分割表で、検定をしたいのですが。
 Ａ48 　マクネマー検定ですね。その「正確検定」にあたるのは二項検定。
Ａ48 　なお対応が３回以上ならコクランのＱ検定。その正確検定は多項検定。

Ｑ49　母比率の検定で、二項検定と正規分布を使った検定があるそうですが、サンプルサイズで使い分けるのですか？
 Ａ49 　二項検定は昔は計算できる範囲の数の検定でした。コンピューターが使えれば、サンプルはいくつでもかまいません。Ｆ分布を使う母比率の検定と同じで、正確な検定です。正規分布を使った母比率の検定は、ｎが大きい場合の近似法です。

Ｑ50　手元の標本で、ある事象の頻度データがありますが、母集団でのその事象の頻度の95%信頼区間の求め方は？
 Ａ50 　二項分布やＦ分布を使う正確な方法と、正規分布の1.96を使った近似法とがあります。詳細は省略。

Ｑ51　２×２より大きい、ｍ×ｎ分割表で、Fisherの正確検定はできませんか？
 Ａ51 　可能です。青木先生のwebには Ｒ、 JavaScript、 CGI によるものがあります。

Ｑ52　列カテゴリーが３つ以上あり、順序関係があるのですが。
 Ａ52 　そういう場合はその順序の番号を測定値とみなして、マン・ホイットニーやクラスカル・ワリスなど代表値の検定に変えた方が検出力が高いです。

Ｑ53　２×ｍ分割表で、列が間隔尺度になっていて、頻度に単調増加傾向がありそうですが、その傾向があると検定できますか？
 Ａ53 　コクラン・アーミテージ検定というのがあります。ロジスティック回帰分析にもちこむ手もある。

Ｑ54　２×ｍ分割表で、カイ２乗検定をして有意だったのですが、どの群とどの群に有意差があるか決められますか？
 Ａ54 　分割表の独立性の検定は比率の差の検定と同じです。TurkeyやRyanの検定が使えます。ボンフェロニも当然使える。

Ｑ55　ではｍ×ｎ分割表で、どの群とどの群に有意差があるかは？
 Ａ55 　ボンフェロニしかないかな。それとも２×ｍ分割表は多重ロジスティック回帰、ｍ×ｎ分割表なら、多項ロジスティック回帰に持ち込む手もあります。


８．回帰・相関

1888年 ゴルトン (Francis Galton, 1822-1911) 回帰/相関の概念 (Proc Roy Soc Lond)
1896年 ピアソン (Karl Peason, 1857-1936) 積率相関係数 (Philos Trans Roy Soc Lond A)
1904年 スピアマン (Charles Spearman, 1863-1945) 順位相関係数 (Am J Psychol)
Ｑ56　回帰分析って、変数が正規分布してないとしてはいけませんか？
 Ａ56 　回帰の検定には従属変数だけが正規分布してればいいです（もっと正確には、回帰直線からの従属変数の誤差が正規分布していればよい）。
Ａ56 　ただしピアソンの積率相関係数の検定は、両変数が正規分布してないといけない。（ｔ検定と同様に頑健だけれど。）

Ｑ57　２つの回帰直線の傾きが等しいかどうかはどうやって検定するの？
 Ａ57 　共分散分析の、共変量が平行かの検定と同じです。Ｑ40参照。交互作用が有意にあれば傾きは異なる。

Ｑ58　κ係数とかケンドールの一致係数って、相関係数とは違うの？
 Ａ58 　κ係数はカテゴリーデータの相関係数（Ｃ係数、Φ係数、クラメールのＶ）に似てますね。本質的な違いはないのかも。
Ａ58 　ケンドールの一致係数Ｗは順序尺度データの相関係数（スピアマンの相関係数やケンドールのタウ係数）に似てますね。Ｗは３つ以上の尺度（測定者）を比較できるのが長所。なお順序尺度に使えるという事は、カテゴリー尺度にも使えます。

Ｑ59　非線形回帰モデルが有意であると証明したいのですが。
 Ａ59 　非線形モデルのうちでその式を選んだ妥当性は、検討したモデルのうちで、それがAIC（赤池情報量）が一番小さいです、と言うしかないでしょう。それがヌルモデルよりよいモデルです、という証明なら、尤度比検定（Ｑ90参照）でしょう。


９．検出力

1933年 ネイマンとピアソン、有意水準が一定の場合、検出力が高いものが有用な検定法と提唱。（Phil Trans Roy Soc A）
1988年 コーエン (Jacob Cohen, 1923-1998) 著作「行動科学のための統計的パワー分析」

Ｑ60　検出力（power）って何？
 Ａ60 　第２種の過誤（検定で有意差なしと判断しても実は差がある誤り）がどれだけ小さいか。

Ｑ61　検出力は何から計算しますか？
 Ａ61 　検定方法、有意水準、検定対象の実質的な差の大きさ（効果量）、サンプルサイズがわかれば検出力を計算できます。逆に検出力をある値以上にしたいときの必要なサンプルサイズの計算も可能。



10．多変量解析一般

1973年 赤池弘次 (1927-2009) 統計モデル決定のための指標 (IEEE Trans Autom Control)
1976年 ボックス (George Box, 1919-2013) 「すべてのモデルは間違っているが、いくつかは有用である。」 (J Am Stat Assoc)

Ｑ62　多変量解析の独立変数、従属変数って？
 Ａ62 　独立変数は説明変数とも呼ばれ、多変量解析では複数。従属変数は応答変数とか目的変数とも呼ばれ、説明される側の変数。多くの場合１尺度。

Ｑ63　多変量解析に最低必要なサンプルサイズは？
 Ａ63 　最低限、調べたい独立変数より多いサンプルサイズがなければできません。統計ソフトが原因不明のエラーを出すときは、初心者はまずそれを確認しましょう。安定した結論を出すためには、独立変数の10倍か20倍必要だとも。

Ｑ64　多変量解析の交互作用って？
 Ａ64 　ｘ１、ｘ２のｙに対する影響を見たいとき、ｘ１、ｘ２が独立にｙに影響すれば「交互作用なし」。独立でなければｘ１とｘ２の交互作用ありです。

Ｑ65　有意な交互作用が出たらモデルに含めないといけませんか？
 Ａ65 　たとえば性別と変数ｘとについて交互作用が見られたら、男女でｘのｙへの影響は違う、という説明になります。このように、交互作用をモデルに含めてきれいな説明ができるかどうかによります。極端に言えば自由かも。

Ｑ66　ダミー変数の使い方です。質問紙で「賛成」「反対」の他に「別案あり」解答もたくさん出てきてしまったのです。どう集計したらいいですか。
 Ａ66 　２つのダミー変数X1、X2にして、下記のようでいかが？
賛成 反対 別案あり
X１ 1 0 0
X２ 0 1 0

Ｑ67　独立変数が３群以上のカテゴリー変数なのですが、これを間隔尺度に変える方法があるんですか？
 Ａ67 　前の質問のように、カテゴリー変数は複数の0,1の組み合わせにできます。0,1は間隔尺度と考えて多変量解析にできます。

Ｑ68　多変量解析の変数選択は、いろいろな方法があるようですが、どれがいいんですか？
 Ａ68 　理想は総当たり法です。ただし独立変数が多いと何時間何日かかるかわからない。次善はフルモデルからの変数減増法か変数減少法。でもソフトがフルモデルを作ってくれない可能性もある。結局ヌルモデルからの変数増減法や変数増加法に頼らないといけないかも。なお強制投入法は分析者の意図により、この変数は絶対分析したい、という時に。

Ｑ69　オーバーフィッティングって？
 Ａ69 　モデルに独立（説明）変数が多すぎて、そのモデルを作ったデータを説明することはよくできるが、さらにデーターが加わった場合にかえって適合が悪くなる状態。
Ａ69 　そこで、どのくらいの独立変数が適当かというと、AIC（赤池情報量）の最小化がよく使われます。対数尤度と独立変数の数のバランスをとった量。


11．重回帰分析

1897年 ピアソンとユール (Udny Yule, 1871-1951) 偏相関、重相関、偏回帰、重回帰の概念 (Proc Roy Soc Lond A)

Ｑ70　独立変数が１つは連続変数、１つは２値データのカテゴリー変数なのですが、重回帰分析は使えますか？
 Ａ70 　２値データの尺度はカテゴリー尺度とも、順序尺度とも、間隔尺度とも見なせますので、使えます。Ｑ67に同じ。

Ｑ71　従属変数が２値データですが、重回帰分析は使えますか？
 Ａ71 　その場合は直線回帰より、Ｓ字曲線を使うロジスティック回帰のほうがおすすめです。

Ｑ72　偏回帰係数、重回帰係数って？
 Ａ72 　ｘ１、ｘ２、ｙの間に関係があるとき、ｘ２の影響を除いたｘ１とｙの回帰係数が偏回帰係数、ｘ１とｘ２の両者とｙの回帰係数が重回帰係数です。

Ｑ73　どの独立変数がもっとも従属変数に影響してるか比べたいのですが、比べるべきなのは偏回帰係数ですか？標準化偏回帰係数ですか？
 Ａ73 　その独立変数の１単位ごとの影響で比べたいなら偏回帰係数、その独立変数の標準偏差ごとの影響で比べたいなら標準化偏回帰係数です。
Ａ73 　なお標準化偏回帰係数は、偏回帰係数×（独立変数の標準偏差／従属変数の標準偏差）。

Ｑ74　重回帰分析と分散分析って関係ありますか？
 Ａ74 　多要因の分散分析は、独立変数がカテゴリー値の重回帰分析と同じです。独立変数がカテゴリー値なら、どちらも使えるわけです。分散分析は、相関が有意かだけがわかり、重回帰分析は回帰式もわかる。

Ｑ75　変数に多重共線性があり解は信用できないって、計算した統計ソフト自身に言われました。どうすればいいの？
 Ａ75 　独立変数のいずれかに強い相関があるため、逆行列が求められない現象です。変動インフレーション因子（VIF）、トレランス（VIFの逆数）などを調べます。一般にVIFが１０以上なら多重共線性が起こっていると判断し、独立変数から除きます。


12．判別分析

1930年 マハラノビス (Prasanta C Mahalanobis, 1893-1972) 距離を一般化 (Journal of the Asiatic Society of Bengal)
1936年 フィッシャー 判別分析 (Annals of Eugenics)

Ｑ76　重回帰分析と判別分析って関係がありますか？
 Ａ76 　従属変数が２値ならは、この両分析は実質的に同じです

Ｑ77　ロジスティック回帰でも判別分析ができるそうですが、それと普通の判別分析はどう使い分けるのですか？
 Ａ77 　線形判別分析には、データが多変量正規分布しているという前提があります。そのような保証がない場合、ロジスティック回帰による判別の方が正判別率が良いです。さらにロジスティック回帰なら、それぞれの群に入る可能性が何％かも計算できます。

Ｑ78　線形判別分析と、２次判別分析はどう使い分けるのですか？
 Ａ78 　独立変数の分散が等しければ１次線形、分散が異なれば２次です。ただしどちらも、独立変数のデータが多変量正規分布していることが前提です。（そんなことは普通ないんだけど、と開き直って使う事が多いかも。）

Ｑ79　いろんな判別分析のうち、どれが一番いいか、何を指標に決めたらいいのでしょう？
 Ａ79 　正判別率でしょう。単純な指標ですが。

Ｑ80　群の順序があるという情報を使える判別分析ってありますか？
 Ａ80 　順序ロジスティック回帰でしょう。Ｑ93参照。

Ｑ81　判別分析でともかく判別直線は引けましたが、２群がそもそも同一の群には属さないはずだという証明方法はありますか？
 Ａ81 　Wilksのラムダでしょう。Ｑ22参照。

Ｑ82　正準判別分析とは、３群以上の判別分析の事でしょうか？
 Ａ82 　統計ソフトによっては、３群以上の判別には正準判別しているものがありますが、正確には違います。多群の判別に使える座標軸を求める判別法です。簡単に説明できない(^_^;)。


13．ロジスティック回帰分析

1838年 フェルフルスト (Pierre-Francois Verhulst, 1804-1849) ロジスティック曲線を発見 (Correspond Mathemat Phys)
1944年 バークソン (Joseph Berkson, 1899-1982) ロジスティック回帰を提唱 (J Am Stat Assoc)
1967年 ウオーカー (Strother H Walker) とダンカン (David B Duncan, 1916-2006) 多重ロジスティックモデル (Biometrika)

Ｑ83　一般化線形モデルとロジスティック回帰の関係は？
 Ａ83 　代表的な一般化線形モデルを下にあげます。
従属変数 その分布 link関数
普通の線形回帰 連続量 ガウス分布 そのまま
ロジスティック回帰 0, 1 二項分布 logit
ポアソン回帰 0, 1, 2, 3.... ポアソン分布 log

Ｑ84　ロジスティック回帰は独立変数が原因、従属変数が結果の関係にあるときのモデルですか？
 Ａ84 　独立変数は別名説明変数と呼ばれ、説明するための変数で、原因でなくともよいです。

Ｑ85　ロジスティック曲線と似ている、プロビット曲線というのもあるそうですが？
 Ａ85 　昔（1960-70年代）は、正規分布を変換した曲線であるプロビット曲線が、正統なＳ字曲線としてよく使われました。でもロジスティック曲線も似た曲線で、数学的にあつかいやすい（オッズ比を出せる）ので今ではこちらが人気です。

Ｑ86　ロジスティック回帰に最低必要なサンプルサイズってありますか？
 Ａ86 　安定した結果を出すためには、独立変数の10倍のイベント数が必要と言われ、それだけのイベントを起こすだけのサンプルサイズが必要です。Cox回帰も同様。

Ｑ87　独立変数が１つは連続変数、１つは２値データのカテゴリー変数なのですが、ロジスティック回帰分析は使えますか？
 Ａ87 　２値データは間隔尺度とも見なせますから、使えます。Ｑ67参照。

Ｑ88　オッズとオッズ比は違うんですか？
 Ａ88 　違います。イベントの確率をpとして、オッズは p/(1-p)。オッズ比はexp(偏回帰係数) で、独立変数が１単位増えた時にオッズがどれだけ増えるかという値。

Ｑ89　尤度って何？
 Ａ89 　計算したモデルが実際の観測値になる確率です。確率ですから0と1の間。尤度が大きいほど観測値によく合うモデルということ。

Ｑ90　尤度比検定って？
 Ａ90 　独立変数が入れ子（nested）の関係にある２つのモデル間で、−２対数尤度の差がどれだけか。それは独立変数の数の差が自由度になるカイ２乗分布をする。たとえば独立変数が一つ増えただけのモデルなら、差が3.84より大きければ5%有意水準で有意差あり。

Ｑ91　ロジスティック回帰をしたら、fitted probabilities numerically 0 or 1 occurred とエラーが出ました。
 Ａ91 　独立変数のある値を境界に、従属変数が「完全分離」されてるのですね。ロジスティック曲線は引けませんが、きれいに判別はできるはずなので、他の分析法を考えましょう。

Ｑ92　単変量のロジスティック回帰で有意だった変数だけで、多変量ロジスティック回帰をすればいいのでしょうか。
 Ａ92 　統計ソフトに能力があるのなら、単変量で有意だろうがなかろうが、みな多変量解析にぶちこむのが正解です。単変量で有意でないように見えた変数が有意になることがあります。

Ｑ93　多重ロジスティック回帰と多項ロジスティック回帰は違うんですか？
 Ａ93 　違います。多重ロジスティック回帰は独立変数が複数、多項ロジスティック回帰は従属変数が３値以上です。なお３値以上の従属変数に順序があるなら順序ロジスティック回帰。


14．生存率の検定

1958年 カプラン (Edward L Kaplan) とマイヤー (Paul Meier, 1924-2011). 生存曲線 (J Am Stat Assoc)
1972年 コックス (David R Cox, 1924-) 生命表の回帰モデル (J R Stat Soc B)
1977年 Peto, Pike, Armitage 他 Log rank検定 (Br J Cancer)

Ｑ94　３群の生存率比較をしたいのですが。
 Ａ94 　ボンフェロニの方法（原法は保守的すぎるので修正ボンフェロニのHolm法とか）で調整した、Log rank検定か一般化Wilcoxon検定でしょう。

Ｑ95　生存率比較では、log rank検定で有意だった独立変数をCox回帰に持ち込むのですか？
 Ａ95 　統計ソフトの能力さえあれば、log rankで有意だろうがなかろうが、すべての独立変数をCox回帰にぶちこみます。log rankで有意でなかった変数に意味が出ることもあります。


15．主成分分析・因子分析

1904年 スピアマン (Charles C Spearman, 1863-1945) 知能の因子分析 (Am J Psychol)
1933年 ホテリング (Harold Hotelling, 1895-1973) 主成分分析 (J Educational Psychol)

Ｑ96　主成分分析と因子分析はどう違うのですか。
 Ａ96 　１つめの違い。まず第一主成分を計算、残りから第二主成分を計算、残りから第三...として適当なところで終えるのが主成分分析。最初からいくつの因子と決めて計算するのが因子分析。
Ａ96 　２つめの違い。主成分分析は各観測変数の独自因子は認めずに主成分を求めるけれど、因子分析は独自因子の存在を認めて計算します。

Ｑ97　因子分析で、因子の直交回転と斜交回転はどう使い分けるんですか？
 Ａ97 　直交回転は斜交回転の特別な場合（因子間が独立な場合）と言えるので、統計ソフトが対応してれば斜交回転をすればよいです。


16．その他の多変量解析

1921年 ライト (Sewall Wright, 1889-1988) パス解析 (J Agricult Res)
1952年 トーガーソン (Warren S Torgerson, 1924-1999) 多次元尺度構成法 (Psychometrika)
1956年 林知己夫 (1918-2002) 数量化理論 （統計数理研究所彙報）
Ｑ98　構造方程式モデリング（共分散構造分析）ってなんですか。
 Ａ98 　昔はパス解析とも言いました。観察変数や潜在変数間のパス係数を計算してモデルを作る手法です。

Ｑ99　主座標分析と、多次元尺度構成法の関係は？
 Ａ99 　古典的な多次元尺度構成法は主座標分析と同じです。

Ｑ100　林の数量化理論と、他の多変量解析との関係は？
 Ａ100 　数量化Ｉ類はは独立変数がカテゴリーデーターの重回帰分析、数量化II類は独立変数がカテゴリーデーターの判別分析。数量化III類は対応分析または双対尺度法。数量化IV類は類似度行列が非対称でもよい主座標分析です。



参考文献
デイヴィッド・サルツブルグ 統計学を拓いた異才たち 日本経済新聞社 2006
岩沢宏和　世界を変えた確率と統計のからくり134話　SBクリエイティブ　2014