クラメール・ラオの不等式による推定量の効率性評価問題です。
クラメール・ラオの不等式
正則条件を満たす分布において、母数$\theta$の不偏推定量$\hat{\theta}$の分散は:
$\text{Var}(\hat{\theta}) \geq \frac{1}{I(\theta)}$
ここで$I(\theta)$はフィッシャー情報量です。
1. 対数尤度関数
正規分布$N(\mu, \sigma^2)$の対数尤度:
$\ell(\mu) = -\frac{n}{2}\log(2\pi\sigma^2) - \frac{1}{2\sigma^2}\sum_{i=1}^n (x_i - \mu)^2$
2. スコア関数
$\frac{\partial \ell}{\partial \mu} = \frac{1}{\sigma^2}\sum_{i=1}^n (x_i - \mu)$
3. フィッシャー情報量の計算
\begin{align}I(\mu) &= E\left[\left(\frac{\partial \ell}{\partial \mu}\right)^2\right] \\&= E\left[\left(\frac{1}{\sigma^2}\sum_{i=1}^n (X_i - \mu)\right)^2\right] \\&= \frac{1}{\sigma^4} E\left[\left(\sum_{i=1}^n (X_i - \mu)\right)^2\right]\end{align}
$X_i$は独立なので:
$E\left[\left(\sum_{i=1}^n (X_i - \mu)\right)^2\right] = \sum_{i=1}^n \text{Var}(X_i) = n\sigma^2$
したがって:
$I(\mu) = \frac{n\sigma^2}{\sigma^4} = \frac{n}{\sigma^2}$
4. クラメール・ラオ下界
$\text{Var}(\hat{\mu}) \geq \frac{1}{I(\mu)} = \frac{\sigma^2}{n}$
効率的推定量
標本平均$\bar{X}$の分散は$\text{Var}(\bar{X}) = \sigma^2/n$であり、クラメール・ラオ下界に一致します。したがって$\bar{X}$は効率的推定量(最小分散不偏推定量)です。
したがって、クラメール・ラオ下界は$\frac{\sigma^2}{n}$です。