推定量の性質・フィッシャー情報量

Stage 3 — 第2章 | 統計検定準1級チートシート推定学習時間：100〜120分 | 難易度：★★★★☆

このページで押さえること

推定量は、作るだけでは不十分です。どの推定量が「よい」かを判断するには、偏り、ばらつき、標本サイズが大きくなったときの挙動を分けて評価します。

このページを終えると、こんなことができるようになります：

不偏性、一致性、有効性を定義で説明できる
平均二乗誤差をバイアスと分散に分解できる
フィッシャー情報量をスコアの分散として理解できる
クラメール・ラオの不等式の条件と意味を説明できる
ガウス・マルコフ定理を「線形不偏推定量の中で最小分散」と読める

2級ではここまで、準1級ではここが増える

2級では、推定量の「良さ」は主に不偏性で説明されました。標本平均が母平均の不偏推定量であること、分散は $n-1$ で割る不偏分散を使うこと、までが中心です。

準1級では、ここに次の3つの軸が加わります。

観点	2級でのレベル	準1級で増える点
偏り	不偏かどうか	バイアスを許して分散を下げる（MSE最小）
ばらつき	分散が小さい方がよい	どこまで小さくできるか（CR下限）
情報	（ほぼ扱わない）	尤度の鋭さ＝フィッシャー情報量で精度の限界を測る

つまり準1級では「不偏なら良い」で止まらず、偏り・分散・到達可能な最小分散を別々に評価し、推定量同士を同じ土俵で比較できることが問われます。差がつくのは、不偏推定量をむやみに最良と決めつけない判断と、CR下限の正則条件を機械適用しない注意です。

1. 不偏性

推定量 $\hat\theta$ が母数 $\theta$ の不偏推定量であるとは、

E_\theta[\hat\theta]=\theta

がすべての $\theta$ で成り立つことです。不偏性は「平均的に当たる」性質であり、個々の標本で真値に近いことを保証しません。

標本平均は母平均の不偏推定量です。

E[\bar X]=E\left[\frac{1}{n}\sum_{i=1}^{n}X_i\right]=\mu

一方、標本分散で分母を $n$ にした

\tilde S^2=\frac{1}{n}\sum_{i=1}^{n}(X_i-\bar X)^2

は、

E[\tilde S^2]=\frac{n-1}{n}\sigma^2

なので不偏ではありません。不偏分散は

S^2=\frac{1}{n-1}\sum_{i=1}^{n}(X_i-\bar X)^2

です。

ここで $n-1$ で割る理由は、$\bar X$ をデータから推定した時点で偏差の自由度が1つ失われ、$n$ で割ると分散を平均的に小さく見積もってしまうからです。不偏性は「同じ標本サイズで何度もサンプリングし直したとき、推定値の平均が真値に一致する」という期待値レベルの保証であって、1回の標本が真値に近いことは意味しない点に注意します。

関連教材（青の統計学）

不偏性（動画）

不偏性と不偏分散についてわかりやすく解説（記事）

2. 一致性

推定量列 $\hat\theta_n$ が $\theta$ に一致するとは、

\hat\theta_n \xrightarrow{p} \theta

すなわち任意の $\varepsilon>0$ に対して

P_\theta(|\hat\theta_n-\theta|>\varepsilon)\to 0

となることです。

一致性は大標本で真値へ近づく性質です。不偏性と一致性は別物です。小標本で偏りがあっても、一致性を持つ推定量はあります。逆に、不偏でも分散が消えなければ一致しません。

📘 前提知識：一致性は「人数を増やせば外しにくくなる」性質

1回の標本では推定値が真値から外れることがあります。しかし標本サイズを増やすほど、大きく外れる確率が小さくなるなら、その推定量は一致的です。不偏性が「平均すると中心が合っている」話なら、一致性は「データを増やしたときに散らばりが真値の周りへ潰れていく」話です。

チェビシェフの不等式を使うと、標本平均の一致性を示せます。

P(|\bar X-\mu|>\varepsilon)\le \frac{Var(\bar X)}{\varepsilon^2} =\frac{\sigma^2}{n\varepsilon^2}\to 0

3. 平均二乗誤差とバイアス分解

推定量の誤差を二乗平均で測る量が平均二乗誤差です。

MSE(\hat\theta)=E[(\hat\theta-\theta)^2]

これは、分散とバイアスの二乗に分解できます。

MSE(\hat\theta)=Var(\hat\theta)+\{Bias(\hat\theta)\}^2

ただし、

Bias(\hat\theta)=E[\hat\theta]-\theta

です。不偏なら $MSE=Var$ ですが、偏りを少し許すことで分散が大きく下がるなら、MSEは小さくなることがあります。正則化推定がこの考え方につながります。

📘 前提知識：MSEは「的の中心からの平均的なズレ」

ダーツで例えると、バイアスは「狙いの中心が的の中心からどれだけずれているか」、分散は「投げるたびにどれだけ散らばるか」です。 MSEは両者を二乗で合算した総合誤差なので、中心が少しずれても散らばりが大きく減れば、的全体としては当たりに近づくことがあります。「不偏＝最良」と思い込むと、この改善を見落とします。

具体例として、正規母集団の分散推定では、不偏分散 $S^2$（$n-1$ で割る）よりも、$n+1$ で割る推定量の方が MSE は小さくなります。不偏性を少し犠牲にして分散を下げた結果、総合誤差が改善する典型例です。試験では「不偏推定量が常に最良か」という問いに対し、MSEを基準にすれば反例があると答えられることが重要です。

4. 有効性と相対効率

同じ母数を推定する不偏推定量の中で、分散が小さいものほど有効です。 2つの不偏推定量 $\hat\theta_1,\hat\theta_2$ に対し、

Var(\hat\theta_1)\le Var(\hat\theta_2)

なら、$\hat\theta_1$ の方が有効です。

相対効率は分散比で測ります。

RE(\hat\theta_1,\hat\theta_2)=\frac{Var(\hat\theta_2)}{Var(\hat\theta_1)}

分母に比較対象を置く流儀もあるため、問題文の定義を確認してください。

5. スコア関数とフィッシャー情報量

📘 前提知識：尤度の「とがり具合」が情報量

尤度関数を母数 $\theta$ の関数として描くと、山の形になります。山が鋭くとがっていれば、少しでも $\theta$ をずらすとデータの説明力が急落するので、データは $\theta$ について多くを語っています。逆に山がなだらかなら、$\theta$ が多少違っても説明力が変わらず、推定はぼやけます。フィッシャー情報量は、この「とがり具合（曲率）」を数値化したもので、大きいほど推定を精密にできます。

対数尤度を

\ell(\theta)=\log f_\theta(X)

とすると、スコア関数は

U(\theta)=\frac{\partial}{\partial\theta}\ell(\theta)

です。正則条件の下で、

E_\theta[U(\theta)]=0

が成り立ちます。

フィッシャー情報量は、スコアの分散です。

I(\theta)=E_\theta[U(\theta)^2]

また、正則条件の下では

I(\theta)=-E_\theta\left[\frac{\partial^2}{\partial\theta^2}\ell(\theta)\right]

とも書けます。独立同分布標本では情報量は加法的です。

I_n(\theta)=nI_1(\theta)

つまり、標本が増えるほど母数についての情報が増え、推定量の分散下限が下がります。

関連教材（青の統計学）

フィッシャー情報量（動画）

尤度とは？（動画）

6. クラメール・ラオの不等式

$\hat\theta$ が $\theta$ の不偏推定量で、正則条件が成り立つとき、

Var(\hat\theta)\ge \frac{1}{I_n(\theta)}

です。これをクラメール・ラオの不等式と呼びます。右辺は、不偏推定量が理論的にこれ以上小さくできない分散の下限です。

次の図では、尤度曲線の曲率（情報量）が大きいほどスコアの分散が大きく、CR下限が下がって推定を精密にできる関係を見ます。

尤度の曲率、スコアの分散、クラメール・ラオ下限の関係図

尤度が鋭い（曲率が大きい）ほどフィッシャー情報量が大きく、CR下限 $1/I_n(\theta)$ が小さくなる。

下限を達成する不偏推定量は有効推定量です。試験では、分散を計算して

Var(\hat\theta)=\frac{1}{I_n(\theta)}

となるかを確認する問題が出ます。

ただし、CR不等式は万能ではありません。不偏性、微分と積分の交換、母数空間が標本値に依存しないことなどの正則条件が必要です。一様分布 $U(0,\theta)$ のように台が母数に依存する場合は注意します。

7. ガウス・マルコフ定理

線形回帰モデル

y=X\beta+\varepsilon

で、

E[\varepsilon]=0,\qquad Var(\varepsilon)=\sigma^2I

を仮定します。このとき、OLS推定量

\hat\beta=(X^\top X)^{-1}X^\top y

は、線形不偏推定量の中で分散が最小です。これをBLUEと呼びます。

重要なのは、ガウス・マルコフ定理に誤差の正規性は不要だという点です。正規性が必要になるのは、t検定やF検定などの有限標本分布を厳密に使う場面です。

8. 小さな計算例：ベルヌーイ標本でCR下限を達成する

ここまでの「不偏性・分散・フィッシャー情報量・CR下限・有効性」を、1つの例でつなげます。 $X_1,\dots,X_n$ が独立に成功確率 $p$ のベルヌーイ分布に従うとします。

1観測の対数尤度は、

\ell(p)=X\log p+(1-X)\log(1-p)

です。スコア関数は、

U(p)=\frac{\partial \ell}{\partial p}=\frac{X}{p}-\frac{1-X}{1-p}

です。$E[X]=p$ を使うと $E[U(p)]=0$ が確認できます。 2階微分は

\frac{\partial^2 \ell}{\partial p^2}=-\frac{X}{p^2}-\frac{1-X}{(1-p)^2}

なので、1観測のフィッシャー情報量は

I_1(p)=-E\left[\frac{\partial^2\ell}{\partial p^2}\right] =\frac{p}{p^2}+\frac{1-p}{(1-p)^2} =\frac{1}{p(1-p)}

です。$n$ 標本では加法性から

I_n(p)=\frac{n}{p(1-p)}

となり、CR下限は

\frac{1}{I_n(p)}=\frac{p(1-p)}{n}

です。一方、自然な推定量は標本平均 $\hat p=\bar X$ で、これは不偏（$E[\hat p]=p$）であり、その分散は

Var(\hat p)=\frac{p(1-p)}{n}

です。分散がちょうどCR下限と一致するので、$\hat p=\bar X$ は有効推定量です。

この例は、4つの概念が1本につながることを示します。

ステップ	確認したこと
スコア	$E[U(p)]=0$ で正則条件を確認
情報量	$I_n(p)=n/\{p(1-p)\}$
CR下限	$Var(\hat p)\ge p(1-p)/n$
有効性	$\bar X$ の分散が下限に一致 → 達成

試験では「ある推定量がCR下限を達成するか」を、このように情報量を計算 → 分散と比較の順で確認します。

9. 問題文トリガー辞書

問題文の表現	判断する性質	確認する式	典型ミス
「不偏」	平均的に真値	$E[\hat\theta]=\theta$	観測値が近いことと混同
「一致」	大標本で真値	$\hat\theta_n\to_p\theta$	不偏なら自動と考える
「MSE」	総合誤差	$Var+Bias^2$	分散だけを見る
「有効」	不偏推定量内の分散比較	CR下限や分散比	偏りあり推定量と直接比較
「情報量」	尤度の鋭さ	$E[U^2]$ または $-E[\ell'']$	観測情報と期待情報を混同
「BLUE」	線形不偏推定量	ガウス・マルコフ	正規性が必要と誤解

10. 典型ミス・ひっかけ

ミス	なぜ危ないか	防ぎ方
不偏性を最良性と同一視する	MSEでは偏りあり推定量が勝つことがある	分散とバイアスを分ける
$I(\theta)$ と $I_n(\theta)$ を混同する	CR下限が $n$ 倍ずれる	1標本かn標本か確認
CR不等式を台が母数依存の分布に機械適用する	正則条件が崩れる	一様分布型に注意
有効性を任意の推定量比較と考える	通常は不偏推定量の中で比較	比較対象のクラスを確認
BLUEに正規性を入れる	ガウス・マルコフの仮定を過剰にする	検定と推定量性質を分ける

11. 解法テンプレ

推定量の良さを問われたら、次の順で処理します。

何を比較しているかを確認する（偏り、分散、MSE、CR下限のどれか）。
まず不偏かを調べる（$E[\hat\theta]=\theta$）。
不偏なら分散を計算し、偏りありなら $MSE=Var+Bias^2$ で比較する。
「最小分散か」を問われたら、フィッシャー情報量 $I_n(\theta)$ を計算してCR下限と照合する。
正則条件（不偏性・微分積分交換・台が母数に依存しない）を確認する。
線形回帰なら、正規性は持ち出さず、ガウス・マルコフでBLUEを判断する。

12. ここで1問

推定量の性質を確認したら、演習で「どの基準で良さを比べているか」を意識して解きます。

このページの確認問題

統計学応用推定

まず解く: 不偏性、一致性、CR不等式、回帰推定量

目標: 推定量の「良さ」を1つの基準に潰さず評価できる

関連教材（青の統計学）

統計的推定（動画）

標準誤差とは？（動画）

統計学応用推定の演習

13. 次に読むページ

次は、最尤推定量の漸近正規性、デルタ法、ジャックナイフ、KL情報量を扱います。有限標本での性質から、大標本近似へ進みます。

漸近理論・再標本化・KL情報量