仮説検定の枠組み・p値・検出力

Stage 3 — 第5章 | 統計検定準1級チートシート推定学習時間：90〜110分 | 難易度：★★★★☆

このページで押さえること

検定は、帰無仮説の下で起こりにくいデータが観測されたかを判定する手続きです。準1級では、検定統計量の計算だけでなく、p値、棄却域、過誤、検出力、サンプルサイズの関係を理解する必要があります。

このページを終えると、こんなことができるようになります：

帰無仮説、対立仮説、有意水準、棄却域を正しく定義できる
p値を「帰無仮説が正しい確率」と誤解せず説明できる
第一種の過誤、第二種の過誤、検出力の関係を整理できる
片側検定・両側検定で棄却域を使い分けられる
効果量、標本サイズ、有意水準が検出力に与える影響を説明できる

2級ではここまで、準1級ではここが増える

2級では、検定は「検定統計量を計算し、棄却域やp値で有意かどうかを判定する」手続きとして扱いました。t検定やカイ二乗検定の当てはめが中心です。

準1級では、判定そのものよりも、判定を支える確率構造が問われます。

観点	2級でのレベル	準1級で増える点
過誤	有意水準 $\alpha$ を設定する	$\alpha,\beta$ と検出力を同時に管理する
p値	有意かどうかの境界	帰無分布の裾確率として正しく解釈する
設計	与えられた標本で検定する	効果量から必要標本サイズを逆算する

つまり準1級では「有意だった／有意でなかった」で終わらず、過誤・検出力・標本サイズのトレードオフを一つの枠組みとして説明できることが問われます。差がつくのは、p値を確率の向きを取り違えずに読む力と、有意でない結果を検出力の言葉で説明する判断です。

1. 仮説検定の構成

仮説検定では、まず帰無仮説 $H_0$ と対立仮説 $H_1$ を置きます。

H_0:\theta=\theta_0,\qquad H_1:\theta\ne\theta_0

のような形です。次に、帰無仮説の下で分布が分かる検定統計量 $T(X)$ を作り、有意水準 $\alpha$ の棄却域 $R$ を決めます。

P_{\theta_0}(T(X)\in R)=\alpha

となるように $R$ を選びます。観測された統計量が $R$ に入れば、$H_0$ を棄却します。

📘 前提知識：棄却域は「帰無仮説の下で珍しすぎる場所」

検定統計量がどの値を取りやすいかは、帰無仮説を仮定して決めます。有意水準は、その帰無分布の端にどれだけ面積を置くかです。片側検定では片方の端、両側検定では両端を使うため、対立仮説の向きを先に固定します。

2. 第一種の過誤と第二種の過誤

第一種の過誤は、帰無仮説が正しいのに棄却する誤りです。

\alpha=P(\text{reject }H_0\mid H_0\text{ true})

第二種の過誤は、対立仮説が正しいのに棄却しない誤りです。

\beta=P(\text{not reject }H_0\mid H_1\text{ true})

検出力は、対立仮説が正しいときに棄却できる確率です。

1-\beta=P(\text{reject }H_0\mid H_1\text{ true})

有意水準 $\alpha$ を小さくすると、第一種の過誤は抑えられます。ただし標本サイズや効果量が同じなら、棄却域が狭くなり、第二種の過誤は増えやすくなります。

3. p値

p値は、帰無仮説の下で、観測値と同じかそれ以上に極端な結果が出る確率です。

右片側検定なら、

p=P_{H_0}(T\ge t_{\mathrm{obs}})

左片側検定なら、

p=P_{H_0}(T\le t_{\mathrm{obs}})

両側検定では、分布と統計量に応じて「両側に極端」な領域を取ります。対称分布ならしばしば

p=2P_{H_0}(T\ge |t_{\mathrm{obs}}|)

の形になります。

p値は「帰無仮説が正しい確率」ではありません。条件は $H_0$ が正しいことに置かれており、その下でデータがどれだけ珍しいかを測っています。向きとしては $P(\text{data}\mid H_0)$ であって $P(H_0\mid \text{data})$ ではない、という点が最大の注意点です。

関連教材（青の統計学）

P値の解釈（動画）

統計的に有意とは？（動画）

4. 片側検定と両側検定

対立仮説が

H_1:\theta\gt\theta_0

なら右片側検定です。棄却域は右側に置きます。

T\gt c_\alpha

対立仮説が

H_1:\theta\lt\theta_0

なら左片側検定です。

T\lt c_\alpha

対立仮説が

H_1:\theta\ne\theta_0

なら両側検定です。対称分布では両側に $\alpha/2$ ずつ置きます。

片側か両側かは、観測後に都合よく変えてはいけません。検定の方向は、問題設定または事前の研究仮説で決まります。

5. 検出力関数

📘 前提知識：検出力は「ある差を見抜く力」

検出力は、本当に差があるときに、それをきちんと棄却できる確率です。同じ検定でも、見つけたい差が大きいほど、また標本が多いほど、帰無分布と対立分布の重なりが小さくなり、差を見抜きやすくなります。「有意でなかった＝差がない」ではなく、「今回の検出力では見抜けなかったかもしれない」と読むための概念です。

検定の棄却域を $R$ とすると、母数 $\theta$ の下で棄却する確率

\pi(\theta)=P_\theta(X\in R)

を検出力関数と呼びます。帰無仮説の点では

\pi(\theta_0)=\alpha

になるように設計します。対立仮説の領域で $\pi(\theta)$ が大きいほど、効果を見つけやすい検定です。

検出力は次で大きくなります。

効果量が大きい
標本サイズが大きい
データのばらつきが小さい
有意水準を大きくする

ただし、有意水準を大きくすると第一種の過誤も増えます。

次の図では、帰無分布と対立分布の重なりとして、第一種の過誤・第二種の過誤・検出力がどう決まるかを見ます。

帰無分布と対立分布の重なり、第一種の過誤、第二種の過誤、検出力曲線の関係図

重なりが小さいほど検出力 $1-\beta$ が大きく、$\alpha$ を動かすと棄却域とともに両過誤のバランスが変わる。

6. サンプルサイズ設計

母平均の片側z検定を考えます。帰無仮説 $H_0:\mu=\mu_0$、対立側で検出したい値を $\mu_1>\mu_0$ とします。標準偏差 $\sigma$ が既知なら、効果量は

\Delta=\mu_1-\mu_0

です。有意水準 $\alpha$、第二種の過誤確率 $\beta$ を指定すると、概ね

n\ge \left(\frac{(z_\alpha+z_\beta)\sigma}{\Delta}\right)^2

の形になります。

この式は、効果量が小さいほど必要標本サイズが二乗で増えることを示します。検出したい差を事前に決めることが、サンプルサイズ設計の中心です。

7. 小さな計算例：母平均のz検定でp値を読む

ここまでの「検定統計量・p値・棄却域・有意水準・標本サイズ」を、1つの数値例でつなげます。母分散が既知（$\sigma=10$）の母集団から $n=25$ を取り、標本平均が $\bar X=104$ だったとします。

H_0:\mu=100,\qquad H_1:\mu\ne 100

を有意水準 $\alpha=0.05$ の両側検定で調べます。標準誤差は

SE=\frac{\sigma}{\sqrt n}=\frac{10}{\sqrt{25}}=2

なので、検定統計量は

Z=\frac{\bar X-\mu_0}{SE}=\frac{104-100}{2}=2

です。両側p値は

p=2\,P(Z\ge 2)\approx 2\times 0.0228=0.0455

となり、$p<0.05$ なので $H_0$ を棄却します。

次に、同じ $\sigma=10$ で「$\Delta=5$ のずれを片側 $\alpha=0.05$、検出力 $1-\beta=0.80$ で検出したい」とき、必要標本サイズは

n\ge\left(\frac{(z_\alpha+z_\beta)\sigma}{\Delta}\right)^2 =\left(\frac{(1.645+0.84)\times 10}{5}\right)^2\approx 24.7

より $n=25$ です。検出したい差を先に決めれば、標本サイズは設計できます。

ステップ	確認したこと
統計量	$Z=(\bar X-\mu_0)/SE=2$
p値	$2P(Z\ge 2)\approx 0.046$
判定	$p<\alpha=0.05$ で棄却
設計	検出力0.8の必要標本サイズ $n\approx 25$

試験では、このように「統計量 → p値 → 判定」を一本で示し、必要なら標本サイズ設計まで戻せることが問われます。

8. 信頼区間との対応

両側検定

H_0:\theta=\theta_0

を有意水準 $\alpha$ で行うことと、信頼係数 $1-\alpha$ の信頼区間に $\theta_0$ が含まれるかを見ることは、多くの標準的な設定で対応します。

\theta_0\notin CI_{1-\alpha}

なら棄却、

\theta_0\in CI_{1-\alpha}

なら棄却しません。

ただし、片側検定では片側信頼限界との対応になります。また、非標準的な検定では単純な対応にならない場合があります。

9. 問題文トリガー辞書

問題文の表現	判断する概念	使う式	典型ミス
「有意水準」	第一種の過誤	$P(\text{reject}\mid H_0)$	p値と混同
「p値」	帰無分布下の極端確率	tail probability	$P(H_0\mid data)$ と読む
「検出力」	対立仮説下の棄却確率	$1-\beta$	$1-\alpha$ と混同
「片側」	対立仮説の向き	片側尾	観測後に方向を決める
「サンプルサイズ」	検出したい差	$\Delta,\alpha,\beta,\sigma$	効果量を未設定にする

10. 典型ミス・ひっかけ

ミス	なぜ危ないか	防ぎ方
p値を帰無仮説の確率と解釈する	条件付き確率の向きが違う	$P(data\mid H_0)$ と読む
有意でないことを差がない証明とする	検出力不足の可能性がある	効果量と信頼区間を見る
片側・両側を事後選択する	第一種の過誤が制御できない	仮説を事前に固定
検出力と信頼係数を混同する	条件が帰無か対立か違う	$\alpha,\beta$ を表で整理
標本サイズを大きくすれば実質的意義も保証されると考える	微小差も有意になる	効果量を併記

11. 解法テンプレ

仮説検定の問題では、次の順で処理します。

帰無仮説 $H_0$ と対立仮説 $H_1$ を、片側か両側かまで含めて先に固定する。
帰無仮説の下で分布が分かる検定統計量を選ぶ。
有意水準 $\alpha$ から棄却域を作るか、観測値からp値を求める。
p値と $\alpha$、または統計量と臨界値を比較して判定する。
有意でなければ「差がない」と即断せず、検出力と効果量を確認する。
必要なら効果量・$\alpha$・$\beta$ から標本サイズを設計し直す。

12. ここで1問

仮説検定の枠組みを確認したら、演習で「過誤・検出力・p値のどれを問われているか」を意識して解きます。

このページの確認問題

統計学応用仮説検定の演習

まず解く: p値、片側・両側検定、検出力

目標: 検定結果を過誤と検出力の言葉で説明できる

関連教材（青の統計学）

統計的に有意とは？（動画）

t検定とは？（動画）

サンプルサイズ設計ツール

統計学応用仮説検定の演習

13. 次に読むページ

次は、ネイマン・ピアソン基本定理、尤度比検定、Wald検定、Score検定、正確検定、多重比較を扱います。検定の一般論から、代表的な検定構成法へ進みます。

LRT・Wald・Score・正確検定