尤度比検定・Wald検定・Score検定・正確検定

Stage 3 — 第6章 | 統計検定準1級チートシート推定学習時間：100〜120分 | 難易度：★★★★★

このページで押さえること

検定には、個別分布ごとの公式だけでなく、尤度に基づいて統一的に作る方法があります。準1級では、LRT、Wald、Scoreの違い、NP基本定理、正確検定、多重比較の補正まで問われます。

このページを終えると、こんなことができるようになります：

単純仮説対単純仮説で最強力検定が尤度比で決まることを説明できる
尤度比検定、Wald検定、Score検定の評価点の違いを説明できる
Wilksの定理によるカイ二乗近似を使える
正確検定と漸近検定の使い分けを説明できる
多重比較で第一種の過誤が膨らむ理由を説明できる

2級ではここまで、準1級ではここが増える

2級では、検定は分布ごとに用意された公式（t検定、カイ二乗検定など）を当てはめる作業でした。「どの検定を使うか」を覚えることが中心です。

準1級では、これらの検定を尤度から統一的に構成する原理まで遡ります。

観点	2級でのレベル	準1級で増える点
検定の作り方	分布ごとの公式を暗記	尤度比・Wald・Scoreで統一的に構成
最適性	（ほぼ扱わない）	NP基本定理で最強力検定を説明
多重性	1回の検定	検定を増やすと過誤が膨らむことを補正

つまり準1級では「公式を選ぶ」で止まらず、検定がどの原理から出るかを説明し、漸近検定と正確検定、単一検定と多重比較を使い分けられることが問われます。差がつくのは、Wilksの自由度をパラメータ次元差で数える正確さと、3つの検定が一致する場面・ずれる場面の判断です。

1. ネイマン・ピアソン基本定理

単純仮説

H_0:\theta=\theta_0

と単純対立仮説

H_1:\theta=\theta_1

を考えます。有意水準 $\alpha$ の検定の中で検出力を最大にする最強力検定は、尤度比

\frac{f_{\theta_1}(x)}{f_{\theta_0}(x)}

が大きいときに $H_0$ を棄却する形になります。

これは、対立仮説の下で起こりやすく、帰無仮説の下で起こりにくいデータを棄却域に入れる、という原理です。 NP基本定理は単純対単純の結果であり、複合仮説では一様最強力検定が存在しないこともあります。

📘 前提知識：尤度曲線のどこを測るかで検定名が変わる

LRTは山の高さの差、Waldは推定値と帰無値の距離、Scoreは帰無値での傾きを見ます。どれも同じ尤度の情報を使いますが、評価する場所が違います。そのため大標本では近くても、境界や小標本では結果がずれることがあります。

2. 尤度比検定

複合仮説では、制約ありの最大尤度と制約なしの最大尤度を比較します。

\Lambda= \frac{\sup_{\theta\in\Theta_0}L(\theta)} {\sup_{\theta\in\Theta}L(\theta)}

です。 $0\le \Lambda\le 1$ で、小さいほど帰無仮説の制約がデータに合っていないと判断します。

検定統計量としては、

-2\log\Lambda

を使うことが多いです。正則条件の下で、帰無仮説が正しいとき

-2\log\Lambda\xrightarrow{d}\chi^2_r

です。ここで $r$ は、制約なしモデルと制約ありモデルのパラメータ次元の差です。これをWilksの定理と呼びます。

自由度は標本サイズ $n$ ではなく、制約で固定したパラメータの個数で決まる点に注意します。$-2\log\Lambda$ が大きいほど帰無仮説の制約とデータが食い違っている、と読みます。

関連教材（青の統計学）

尤度比検定とは？（動画）

3. Wald検定

Wald検定は、制約なしの推定量 $\hat\theta$ が帰無仮説の値からどれだけ離れているかを見ます。 1母数で

H_0:\theta=\theta_0

なら、

W= \frac{(\hat\theta-\theta_0)^2}{\widehat{Var}(\hat\theta)}

は漸近的に $\chi^2_1$ に従います。標準正規型なら

Z=\frac{\hat\theta-\theta_0}{SE(\hat\theta)}

を使います。

Wald検定は直感的ですが、母数空間の境界や非線形変換に弱いことがあります。たとえば、割合が0や1に近い場合、正規近似が不安定になります。

4. Score検定

Score検定は、帰無仮説の下で評価したスコアを使います。 1母数なら、

S= \frac{U(\theta_0)^2}{I(\theta_0)}

が漸近的に $\chi^2_1$ に従います。

Score検定の特徴は、対立モデルの最尤推定量を計算しなくてもよいことです。帰無仮説の下での推定だけで検定できるため、複雑なモデルの追加効果を調べるときに便利です。

5. LRT・Wald・Scoreの比較

3つの検定は、大標本では同じ帰無仮説に対して漸近的に同等になることが多いです。しかし、有限標本では差が出ます。

検定	どこを見るか	評価点	強み	弱み
LRT	尤度の最大値の比	制約あり・なし両方	原理が安定	両方のMLEが必要
Wald	推定量と帰無値の距離	制約なしMLE	計算しやすい	境界・変換に弱い
Score	帰無値での傾き	帰無仮説下	対立側MLE不要	近似に依存

次の図では、同じ対数尤度曲線の上で、3つの検定がそれぞれ「高さの差」「横の距離」「傾き」のどこを測っているかを見ます。

対数尤度曲線上でLRT、Wald、Score検定がそれぞれ何を比較しているかを示す図

LRTは最大点と帰無点の高さの差、Waldは $\hat\theta$ と $\theta_0$ の横方向の距離、Scoreは $\theta_0$ での接線の傾きを使う。

6. 小さな計算例：正規平均のLRTがカイ二乗になる

ここまでのLRT・Wald・Scoreを、1つの数値例で比べます。分散既知（$\sigma^2=1$）の正規母集団から $n=16$ を取り、標本平均が $\bar X=0.5$ だったとします。

H_0:\mu=0,\qquad H_1:\mu\ne 0

を考えます。制約なしのMLEは $\hat\mu=\bar X$ で、正規・分散既知では対数尤度の差から

-2\log\Lambda=\frac{n(\bar X-\mu_0)^2}{\sigma^2} =\frac{16\times(0.5-0)^2}{1}=4

です。これは帰無仮説の下で $\chi^2_1$ に従い、上側5%点 $3.84$ を超えるので $H_0$ を棄却します。

このとき、Wald統計量

W=\frac{(\hat\mu-\mu_0)^2}{\sigma^2/n}=\frac{0.25}{1/16}=4

も、Score統計量

S=\frac{U(\mu_0)^2}{I(\mu_0)}=\frac{8^2}{16}=4

も同じ $4$ になります。$\sqrt{4}=2$ は $Z=(\bar X-\mu_0)/(\sigma/\sqrt n)$ に一致します。

検定	統計量	値
LRT	$-2\log\Lambda$	$4$
Wald	$(\hat\mu-\mu_0)^2/(\sigma^2/n)$	$4$
Score	$U(\mu_0)^2/I(\mu_0)$	$4$

正規・分散既知では3つが厳密に一致しますが、一般には大標本で漸近的に一致するだけで、有限標本や境界付近では値がずれます。

7. 正確検定

漸近検定は標本サイズが大きいときの近似に依存します。小標本やセル度数が小さい分割表では、正確検定が使われます。

代表例はFisherの正確検定です。 2×2表で周辺度数を固定したとき、特定の表が出る確率は超幾何分布で表されます。

P(A=a)= \frac{\binom{r_1}{a}\binom{r_2}{c_1-a}} {\binom{n}{c_1}}

カイ二乗検定は期待度数が十分大きいときの近似です。期待度数が小さい場合は、正確検定や連続性補正を考えます。

8. 多重比較

📘 前提知識：検定を増やすほど「偶然のあたり」が紛れ込む

1回の検定では、本当は差がないのに有意と出る確率を $\alpha$ に抑えています。しかし同じ $\alpha$ で何十回も検定すると、その中のどれかが偶然有意になる確率はどんどん大きくなります。多重比較の補正は、「検定の束（ファミリー）全体でみたときの誤検出」を抑えるための調整です。

複数の検定を同時に行うと、少なくとも1つを誤って棄却する確率が増えます。各検定の有意水準が $\alpha$ で独立なら、$m$ 回のうち少なくとも1つで第一種の過誤を起こす確率は

1-(1-\alpha)^m

です。たとえば $\alpha=0.05$ で $m=20$ 回なら $1-0.95^{20}\approx 0.64$ となり、どれかが偶然有意になる確率は6割を超えます。

ファミリー単位の第一種の過誤率を抑える基本的な方法がBonferroni補正です。各検定を

\frac{\alpha}{m}

で行えば、全体の過誤率は高々 $\alpha$ に抑えられます。

Bonferroniは保守的です。検定数が多い探索的分析では、False Discovery Rateを制御する方法も使われます。準1級では、まず「検定を増やすと偶然有意が増える」構造を押さえます。

関連教材（青の統計学）

検定の多重性／ボンフェローニ補正（動画）

9. 問題文トリガー辞書

問題文の表現	選ぶ検定	見る統計量	典型ミス
「最強力検定」	NP基本定理	尤度比	複合仮説にも常に適用
「制約あり/なしモデル」	LRT	$-2\log\Lambda$	自由度を標本サイズにする
「推定量が帰無値から離れる」	Wald	$(\hat\theta-\theta_0)/SE$	境界で機械適用
「帰無仮説下の傾き」	Score	$U(\theta_0)$	対立側MLEを使う
「小標本2×2表」	Fisher正確検定	超幾何分布	カイ二乗近似を無条件に使う
「多くの検定」	多重比較補正	Bonferroni/FDR	個別p値だけ見る

10. 典型ミス・ひっかけ

ミス	なぜ危ないか	防ぎ方
LRTの自由度を標本数とする	自由度はパラメータ次元差	モデル次元を数える
Waldをすべての場面で使う	境界や非線形変換に弱い	LRT/Scoreも候補にする
Score検定で制約なしMLEを要求する	Scoreは帰無仮説下で評価	評価点を確認
Fisher正確検定を独立性検定と無関係に覚える	周辺固定の超幾何分布が本質	2×2表の条件付き分布を見る
多重比較を無視する	全体の第一種過誤が膨らむ	検定ファミリーを定義

11. 解法テンプレ

尤度に基づく検定を問われたら、次の順で処理します。

仮説が単純対単純か、複合仮説かを見分ける（単純対単純ならNP基本定理で尤度比）。
何を比較するかで検定を選ぶ（高さの差＝LRT、距離＝Wald、傾き＝Score）。
LRTなら $-2\log\Lambda$ を作り、自由度をパラメータ次元差 $r$ で数える。
標本サイズが小さい、または期待度数が小さいなら、漸近近似ではなく正確検定を検討する。
複数の検定を束ねるなら、ファミリーを定義してBonferroniやFDRで補正する。

12. ここで1問

尤度に基づく検定の構成を確認したら、演習で「検定統計量がどの原理から出るか」を意識して解きます。

このページの確認問題

統計学応用仮説検定の演習

まず解く: 尤度比検定、p値、分割表、多重比較

目標: 検定統計量がどの原理から出るか説明できる

関連教材（青の統計学）

尤度比検定とは？（動画）

検定の多重性／ボンフェローニ補正（動画）

統計学応用仮説検定の演習

13. 次に読むページ

次は、正規・二項・ポアソン・適合度・ノンパラメトリック検定を整理します。一般理論を、具体的な問題タイプへ接続します。

パラメトリック・ノンパラメトリック検定