最尤推定量（Maximum Likelihood Estimator, MLE）の漸近理論
最尤推定量は統計学における最も重要な推定手法の一つで、その漸近性質を理解することは統計的推論の基礎となります。特に大標本理論における漸近効率性と正規性は実用上極めて重要です。
MLE漸近理論の重要性
漸近効率性：MLE は漸近的に最も効率的な推定量となります。漸近正規性：十分大きな標本で正規分布に従い、信頼区間構築が可能になります。
Step 1: MLE漸近理論の基本
正則条件下で、真のパラメータθ₀におけるMLE θ̂ₙは：
$\sqrt{n}(\hat{\theta}_n - \theta_0) \xrightarrow{d} N\left(0, I^{-1}(\theta_0)\right)$
ここで I(θ₀) はフィッシャー情報量です。
フィッシャー情報量の定義
フィッシャー情報量は以下のように定義されます：
$I(\theta) = -E\left[\frac{\partial^2 \log f(X;\theta)}{\partial \theta^2}\right] = E\left[\left(\frac{\partial \log f(X;\theta)}{\partial \theta}\right)^2\right]$
| 性質 | 内容 | 意味 |
|---|
| 非負性 | I(θ) ≥ 0 | 情報量は常に非負 |
| 加法性 | I_n(θ) = n·I(θ) | 独立標本では情報量が加算 |
| 不変性 | 変換に対する特別な性質 | パラメータ変換時の調整 |
Step 2: 正規分布のフィッシャー情報量計算
正規分布 N(μ, σ²) の対数尤度関数：
$\log f(x;\mu,\sigma^2) = -\frac{1}{2}\log(2\pi\sigma^2) - \frac{(x-\mu)^2}{2\sigma^2}$
μに関する一次微分：
$\frac{\partial \log f(x;\mu,\sigma^2)}{\partial \mu} = \frac{x-\mu}{\sigma^2}$
μに関する二次微分：
$\frac{\partial^2 \log f(x;\mu,\sigma^2)}{\partial \mu^2} = -\frac{1}{\sigma^2}$
Step 3: フィッシャー情報量の計算
σ²が既知の場合のμに関するフィッシャー情報量：
$I(\mu) = -E\left[-\frac{1}{\sigma^2}\right] = \frac{1}{\sigma^2}$
本問では σ² = 16 なので：
$I(\mu) = \frac{1}{16}$
n個の独立標本に対するフィッシャー情報量：
$I_n(\mu) = n \cdot I(\mu) = 64 \times \frac{1}{16} = 4$
Step 4: MLE の漸近分散
Cramér-Rao下界により、μ̂の漸近分散は：
$Var(\hat{\mu}) = \frac{1}{I_n(\mu)} = \frac{1}{4} = 0.25$
小数第3位まで：0.250
結果の検証
標本平均による直接計算：
- 標本平均：X̄ = (X₁ + ... + X₆₄)/64
- 分散：Var(X̄) = σ²/n = 16/64 = 0.25
- 一致性：フィッシャー情報量からの結果と一致
MLEの漸近性質の詳細
Step 5: 一般的な正則条件
MLE漸近理論の正則条件
- 識別可能性：異なるパラメータ値で異なる分布
- 共通台：分布の台がパラメータに依存しない
- 微分可能性：対数尤度関数が適切に微分可能
- 情報量有限性：フィッシャー情報量が有限かつ正
- 境界条件：微分と積分の順序交換可能
正規分布の場合、これらの条件はすべて満たされます。
多パラメータの場合の拡張
Step 6: (μ, σ²) 両方が未知の場合
μとσ²が両方未知の場合のフィッシャー情報行列：
$I(\mu, \sigma^2) = \begin{pmatrix} \frac{1}{\sigma^2} & 0 \\ 0 & \frac{1}{2\sigma^4} \end{pmatrix}$
逆行列：
$I^{-1}(\mu, \sigma^2) = \begin{pmatrix} \sigma^2 & 0 \\ 0 & 2\sigma^4 \end{pmatrix}$
μ̂の漸近分散は第(1,1)成分：Var(μ̂) = σ²/n
σ²既知 vs 未知の比較
| 状況 | μ̂の漸近分散 | 効率性 | 本例での値 |
|---|
| σ²既知 | σ²/n | 最高効率 | 16/64 = 0.25 |
| σ²未知 | σ²/n | 同じ効率 | 16/64 = 0.25 |
興味深いことに、正規分布では μ と σ² の MLE は漸近的に独立であり、μ̂ の効率性は σ² が未知でも変わりません。
実際の計算例と信頼区間
Step 7: 信頼区間の構築
μ̂ の漸近分布：
$\hat{\mu} \sim N\left(\mu, \frac{\sigma^2}{n}\right) = N(10, 0.25)$
95%信頼区間：
$\hat{\mu} \pm 1.96 \sqrt{0.25} = \hat{\mu} \pm 1.96 \times 0.5 = \hat{\mu} \pm 0.98$
もし標本平均が 10.3 だった場合：
$CI_{95\%} = [10.3 - 0.98, 10.3 + 0.98] = [9.32, 11.28]$
漸近効率性の意味
Cramér-Rao下界により、任意の不偏推定量 T に対して：
$Var(T) \geq \frac{1}{nI(\theta)}$
MLE は漸近的にこの下界を達成するため「漸近効率的」と呼ばれます。