漸近理論・リサンプリング・KL情報量

Stage 3 — 第3章 | 統計検定準1級チートシート推定学習時間：90〜110分 | 難易度：★★★★☆

このページで押さえること

漸近理論は、「標本サイズが大きいときに何が近似的に成り立つか」を扱います。準1級では、最尤推定量の漸近正規性、デルタ法、KL情報量、ジャックナイフを、検定・信頼区間・モデル選択の土台として理解する必要があります。

このページを終えると、こんなことができるようになります：

$\sqrt n$ オーダーの漸近正規性を読める
最尤推定量の分散にフィッシャー情報量が出る理由を説明できる
デルタ法で変換後の標準誤差を近似できる
ジャックナイフの目的をバイアス・分散推定として説明できる
KL情報量を「真の分布からのずれ」として読める

2級ではここまで、準1級ではここが増える

2級では、大標本での正規近似は中心極限定理という結論として使いました。標本平均が近似的に正規分布に従う、標準誤差で割れば標準正規で扱える、という運用が中心です。準1級では、その近似を一般の推定量に拡張する道具として扱います。最尤推定量がなぜ正規近似できるのか、変換した量の標準誤差はどうなるのか、再標本化で誤差をどう測るのか、までを問われます。

観点	2級でのレベル	準1級で増える点
正規近似	標本平均に中心極限定理を適用	一般の最尤推定量の漸近正規性（$\sqrt n$ オーダー）
標準誤差	既知の公式に代入	デルタ法で変換後の標準誤差を導く
誤差の評価	（ほぼ扱わない）	ジャックナイフ・ブートストラップで再標本化
分布の近さ	（扱わない）	KL情報量でモデルと真の分布のずれを測る

つまり準1級では「標本平均は正規近似できる」で止まらず、近似がどこから来て、どこで崩れるかを説明できることが問われます。差がつくのは、漸近正規性を有限標本で厳密分布と扱わない注意と、KL情報量を対称な距離と誤解しない点です。

1. 漸近記法の読み方

推定量 $\hat\theta_n$ が

\sqrt n(\hat\theta_n-\theta)\xrightarrow{d}N(0,V)

を満たすとき、$\hat\theta_n$ は漸近正規性を持つといいます。これは、推定誤差が概ね $1/\sqrt n$ の速さで小さくなり、標準化すると正規分布で近似できるという意味です。

同じ式は近似的に

\hat\theta_n \approx N\left(\theta,\frac{V}{n}\right)

と読めます。信頼区間やWald検定は、この近似を使っています。

📘 前提知識：一致性と漸近正規性は役割が違う

一致性は、標本サイズを増やすと推定量が真値の近くに集まるという「行き先」の話です。漸近正規性は、その近くに集まった後の小さなズレを $\sqrt n$ 倍して見ると、正規分布で近似できるという「ズレの形」の話です。信頼区間やWald検定では、このズレの形を使って標準誤差を作ります。

2. 最尤推定量の漸近正規性

正則条件の下で、最尤推定量 $\hat\theta$ は一致性と漸近正規性を持ちます。

\sqrt n(\hat\theta-\theta_0)\xrightarrow{d}N\left(0,\frac{1}{I_1(\theta_0)}\right)

したがって、

\hat\theta\approx N\left(\theta_0,\frac{1}{nI_1(\theta_0)}\right)

です。

なぜフィッシャー情報量が出るかは、スコア方程式を真値まわりでテイラー展開すると見えます。最尤推定量では

0=U_n(\hat\theta)

です。真値 $\theta_0$ の周りで展開すると、

0\approx U_n(\theta_0)+(\hat\theta-\theta_0)U_n'(\theta_0)

なので、

\hat\theta-\theta_0\approx -\frac{U_n(\theta_0)}{U_n'(\theta_0)}

です。 $U_n(\theta_0)$ は中心極限定理で正規近似され、$-U_n'(\theta_0)$ は情報量に近づきます。

次の図では、最尤推定量が満たすスコア方程式を真値の近くで一次近似する。

スコア方程式を真値まわりでテイラー展開し、スコアの揺らぎとフィッシャー情報量から最尤推定量の漸近正規性が出る流れ

MLEの誤差は、真値でのスコアの揺らぎを情報量で割ったものとして近似できる。

分子のスコアは中心極限定理で揺らぎ、分母の曲率は情報量に近づく。この形がWald検定や標準誤差近似の土台になる。

関連教材（青の統計学）

中心極限定理（動画）

i.i.dって何？大数の法則と中心極限定理（動画）

統計学応用漸近理論の演習

3. デルタ法

推定量が

\sqrt n(\hat\theta-\theta)\xrightarrow{d}N(0,V)

を満たすとします。滑らかな関数 $g$ に対して、

\sqrt n\{g(\hat\theta)-g(\theta)\}\xrightarrow{d}N(0,\{g'(\theta)\}^2V)

です。これがデルタ法です。

多変量の場合、勾配ベクトルを使います。

\sqrt n(\hat\theta-\theta)\xrightarrow{d}N(0,\Sigma)

なら、

\sqrt n\{g(\hat\theta)-g(\theta)\} \xrightarrow{d} N(0,\nabla g(\theta)^\top\Sigma\nabla g(\theta))

です。

デルタ法は、オッズ比、対数リスク比、分散安定化変換などで使います。ただし $g'(\theta)=0$ の場合は一次近似が効かないため、高次のデルタ法が必要になることがあります。

📘 前提知識：デルタ法は加工後の「新しいズレ具合」を読む

たとえば、ある推定量の平均的なズレ具合は分かっているとします。しかし実際には、その推定量を対数にしたり、オッズ比にしたり、指数変換したりした後の量を使いたいことがあります。変換後の分布を力技で出すのは難しいので、デルタ法は「今いる真値の近くでは曲線を直線とみなす」という近似で、加工後の標準誤差をスマートに予測します。曲線の傾きが大きい場所ではズレも大きくなり、傾きが小さい場所ではズレも小さくなります。

次の図では、推定量の標準誤差が変換 $g$ の傾きで拡大・縮小されることを見る。

デルタ法で推定量の正規近似が関数変換により傾き倍され、標準誤差が伝播することを示す図

デルタ法は、曲線そのものを扱うのではなく、真値近傍の接線で一次近似して標準誤差を運ぶ。

$\hat\theta$ が $\theta$ の近くで正規近似できるとき、$g(\hat\theta)$ は $g(\theta)+g'(\theta)(\hat\theta-\theta)$ で近似できる。したがって分散は、おおよそ $\{g'(\theta)\}^2$ 倍される。$g'(\theta)=0$ の点では、この一次近似が効きにくい。

4. ジャックナイフ

ジャックナイフは、1つずつ観測値を抜いた推定量を使って、バイアスや分散を推定する方法です。全標本の推定量を $\hat\theta$、$i$ 番目を除いた推定量を

\hat\theta_{(-i)}

とします。 leave-one-out平均は

\bar\theta_{(\cdot)}=\frac{1}{n}\sum_{i=1}^{n}\hat\theta_{(-i)}

です。ジャックナイフのバイアス推定は概念的に

\widehat{Bias}_{jack}=(n-1)(\bar\theta_{(\cdot)}-\hat\theta)

と書けます。

分散推定では、leave-one-out推定量のばらつきを使います。

\widehat{Var}_{jack}= \frac{n-1}{n}\sum_{i=1}^{n}(\hat\theta_{(-i)}-\bar\theta_{(\cdot)})^2

ジャックナイフは滑らかな統計量に向きます。中央値のように非滑らかな統計量では、ブートストラップの方が自然なことがあります。ブートストラップは、観測データから重複を許して標本を取り直し、推定量のばらつきを直接シミュレートする再標本化法です。

関連教材（青の統計学）

ブートストラップ法（動画）

統計学応用推定の演習

5. KL情報量

📘 前提知識：KL情報量は「真の分布から見た近似のムダ」

真の分布が $P$ で、それを近似モデル $Q$ で説明しようとする場面を考えます。 $P$ から出てくるデータを $Q$ で表そうとすると、どうしても説明しきれない「ムダ」が出ます。 KL情報量は、この平均的なムダの大きさを測る量で、$P$ と $Q$ が一致するときだけ0になります。ただし「$P$ から見た $Q$ のムダ」と「$Q$ から見た $P$ のムダ」は別物なので、ふつうの距離のように左右を入れ替えられません。

分布 $P$ から $Q$ へのKL情報量は、

D_{\mathrm{KL}}(P\|Q)=E_P\left[\log\frac{p(X)}{q(X)}\right]

です。連続型なら

D_{\mathrm{KL}}(P\|Q)=\int p(x)\log\frac{p(x)}{q(x)}\,dx

です。 KL情報量は常に非負で、

D_{\mathrm{KL}}(P\|Q)\ge 0

かつ、$P=Q$ のとき0です。ただし一般に対称ではありません。

D_{\mathrm{KL}}(P\|Q)\ne D_{\mathrm{KL}}(Q\|P)

最尤法は、真の分布に最も近いモデルをKL情報量の意味で選ぶ方法としても解釈できます。モデルが真の分布を含まない場合でも、最尤推定量はKL情報量を最小化する疑似真値へ近づきます。

次の図では、同じ2つの分布でも、どちらを基準に期待を取るかでKL情報量が変わることを見る。

2つの正規分布に対してKL情報量の向きが変わると値も変わり、距離ではないことを示す図

KL情報量は非対称であり、$D_{KL}(P\|Q)$ は $P$ の下で見た $Q$ への近似損失である。

$D_{KL}(P\|Q)$ は、真の分布を $P$ と見て、$Q$ で近似したときの損失を $P$ の下で平均する。最尤法は経験分布から見たKL損失を小さくする方法として解釈でき、AICは予測分布のKLリスクを近似する情報量基準として読む。

6. 漸近近似を使う場面

場面	使う近似	注意点
MLEの信頼区間	漸近正規性	小標本では誤差が大きい
Wald検定	推定量の正規近似	境界母数に弱い
尤度比検定	Wilksの定理	正則条件が必要
Score検定	スコアの正規近似	帰無仮説下で評価
変換後推定量	デルタ法	導関数0に注意
バイアス・分散推定	ジャックナイフ	非滑らかな統計量に注意

7. 小さな計算例：ポアソン平均にデルタ法を当てる

ここまでの「最尤推定量の漸近正規性・フィッシャー情報量・デルタ法」を、1つの例でつなげます。 $X_1,\dots,X_n$ が独立に平均 $\lambda$ のポアソン分布に従うとします。

最尤推定量は標本平均 $\hat\lambda=\bar X$ です。 1観測のフィッシャー情報量はポアソン分布で

I_1(\lambda)=\frac{1}{\lambda}

なので、漸近正規性は

\sqrt n(\hat\lambda-\lambda)\xrightarrow{d}N\!\left(0,\frac{1}{I_1(\lambda)}\right)=N(0,\lambda)

です。つまり $\hat\lambda$ の漸近分散は $\lambda/n$ で、$\lambda$ が大きいほどばらつきも大きくなります。

ここで $g(\lambda)=\sqrt\lambda$ という変換を考えます。$g'(\lambda)=\dfrac{1}{2\sqrt\lambda}$ なので、デルタ法より

\sqrt n\{g(\hat\lambda)-g(\lambda)\}\xrightarrow{d} N\!\left(0,\{g'(\lambda)\}^2\lambda\right) =N\!\left(0,\frac{1}{4\lambda}\cdot\lambda\right) =N\!\left(0,\frac14\right)

です。変換後の漸近分散が $\lambda$ に依存しなくなる点が要点で、これが分散安定化変換です。

ステップ	確認したこと
情報量	$I_1(\lambda)=1/\lambda$
漸近正規性	$\sqrt n(\hat\lambda-\lambda)\to N(0,\lambda)$
デルタ法	$g=\sqrt{\cdot}$、$g'=1/(2\sqrt\lambda)$
分散安定化	$\sqrt{\hat\lambda}$ の漸近分散が $1/(4n)$ で一定

試験では「変換後の標準誤差」を問われたら、このように$g'$ を二乗して元の分散に掛ける手順で処理します。

8. 問題文トリガー辞書

問題文の表現	判断する理論	使う式	典型ミス
「大標本で」	漸近正規性	$\sqrt n(\hat\theta-\theta)$	$\hat\theta$ 自体を標準化しない
「変換後の分散」	デルタ法	$\{g'(\theta)\}^2V$	$g'$ を二乗し忘れる
「leave-one-out」	ジャックナイフ	$\hat\theta_{(-i)}$	ブートストラップと混同
「分布間の距離」	KL情報量	$E_P[\log(p/q)]$	対称距離と考える
「モデル選択の理論背景」	KL最小化	期待対数尤度	訓練誤差だけで解釈

9. 典型ミス・ひっかけ

ミス	なぜ危ないか	防ぎ方
漸近正規性を有限標本で厳密分布と扱う	近似でしかない	$n$ が大きい前提を確認
デルタ法で $g'(\hat\theta)$ と $g'(\theta)$ の区別に固執しすぎる	実務上は $\theta$ 不明なので代入する	理論式と実用推定を分ける
KLを通常の距離と思う	非対称で三角不等式もない	向きを明記する
ジャックナイフを万能な再標本化と思う	非滑らか統計量に弱い	統計量の滑らかさを見る
Wald/LRT/Scoreを同じ検定とみなす	漸近的には近いが有限標本で差が出る	評価点と統計量を確認

10. 解法テンプレ

漸近近似を使う問題では、次の順で処理します。

何の量を近似するかを確認する（推定量そのものか、変換した量か、検定統計量か）。
元の推定量に漸近正規性 $\sqrt n(\hat\theta-\theta)\to N(0,V)$ があるかを確認する。最尤推定量なら $V=1/I_1(\theta)$。
変換した量を聞かれていれば、デルタ法で $\{g'(\theta)\}^2V$ を計算する（$g'$ の二乗を忘れない）。
標準誤差は漸近分散を $n$ で割って平方根を取る。実用では $\theta$ に推定値を代入する。
再標本化での誤差評価なら、滑らかさを見てジャックナイフかブートストラップかを選ぶ。
近似の前提（$n$ が大きい・正則条件・境界母数でない）が崩れていないかを最後に確認する。

11. ここで1問

漸近近似の使いどころを確認したら、演習で「近似の前提と限界」を意識して解きます。

このページの確認問題

統計学応用推定

まず解く: 漸近正規性、デルタ法、尤度比検定の近似

目標: 近似の前提と限界を明示できる

関連教材（青の統計学）

i.i.dって何？大数の法則と中心極限定理（動画）

統計学応用漸近理論の演習

12. 次に読むページ

次は、信頼区間を扱います。ここまでの標本分布と漸近正規性を、区間推定の形に落とし込みます。

信頼区間