最尤推定量（MLE）の漸近的性質と理論
最尤推定量（Maximum Likelihood Estimator, MLE）は、正則条件下で大標本において理論的に最適な推定量です。統計学の中核をなす推定手法であり、機械学習、計量経済学、生物統計学など幅広い分野で使用されています。
最尤推定量の原理
MLEは、観測されたデータが最も起こりやすくなるような母数値を選ぶ手法です：
$\hat{\theta}_{MLE} = \arg\max_{\theta} L(\theta; x_1, \ldots, x_n)$
ここで $L(\theta; x_1, \ldots, x_n)$ は尤度関数です。
MLEの3つの黄金性質
1. 一致性（Consistency）
$\hat{\theta}_n \xrightarrow{P} \theta_0$ as $n \to \infty$
標本サイズが大きくなると、推定値が真の値に確率収束します。
2. 漸近正規性（Asymptotic Normality）
$\sqrt{n}(\hat{\theta}_n - \theta_0) \xrightarrow{d} N(0, I(\theta_0)^{-1})$
適切に標準化されたMLEは正規分布に漸近します。
3. 漸近有効性（Asymptotic Efficiency）
MLEはクラメール＝ラオ下界を達成し、漸近的に最小分散を持ちます。
理論的背景：フィッシャー情報量
$I(\theta) = -E\left[\frac{\partial^2 \log L(\theta)}{\partial \theta^2}\right]$
フィッシャー情報量が大きいほど、MLEの精度が高くなります。
| 性質 | 有限標本 | 大標本 | 備考 |
|---|
| 不偏性 | 保証なし | 保証なし | 例：正規分布の分散 |
| 一致性 | - | あり | 正則条件下 |
| 漸近正規性 | - | あり | 信頼区間構築に有用 |
| 漸近有効性 | - | あり | 最小分散達成 |
注意点：尤度関数の形状によっては、解が一意に決まらない場合や、解が数値的にしか求まらない場合があります。また、有限標本ではMLEが不偏とは限らないことに注意が必要です。