最尤法、モーメント法、不偏性、一致性、十分性、有効性、区間推定など統計検定準1級レベルの推定理論
正規分布$N(\mu, \sigma^2)$からの標本$X_1, \ldots, X_n$について、$\sigma^2$の不偏推定量はどれか。
推定量$\hat{\theta}$が母数$\theta$の不偏推定量であるとは：
が成り立つことです。これは推定量の期待値が真の母数と一致することを意味します。
Step 1: 平方和の分解
以下の恒等式を導出します：
証明：
ここで$\sum_{i=1}^n (X_i - \mu) = n\bar{X} - n\mu = n(\bar{X} - \mu)$なので：
Step 2: 各項の期待値
正規分布$N(\mu, \sigma^2)$において：
Step 3: 平方和の期待値
Step 1の恒等式の両辺の期待値を取ると：
Step 4: 標本分散の期待値
標本分散$S^2 = \frac{1}{n-1}\sum_{i=1}^n (X_i - \bar{X})^2$について：
したがって$S^2$は$\sigma^2$の不偏推定量です。
Step 5: 他の推定量の検証
| 推定量 | 期待値 | 不偏性 |
|---|---|---|
| $\frac{1}{n}\sum_{i=1}^n (X_i - \bar{X})^2$ | $\frac{n-1}{n}\sigma^2$ | 偏り有り（過小推定） |
| $\frac{1}{n-1}\sum_{i=1}^n (X_i - \bar{X})^2$ | $\sigma^2$ | 不偏 |
| $\frac{1}{n}\sum_{i=1}^n (X_i - \mu)^2$ | $\sigma^2$ | 不偏（但し$\mu$既知） |
| $\frac{1}{n-1}\sum_{i=1}^n (X_i - \mu)^2$ | $\frac{n}{n-1}\sigma^2$ | 偏り有り（過大推定） |
| $\frac{1}{n+1}\sum_{i=1}^n (X_i - \bar{X})^2$ | $\frac{n-1}{n+1}\sigma^2$ | 偏り有り（過小推定） |
自由度の減少：
$\sum_{i=1}^n (X_i - \bar{X})^2$において、$\sum_{i=1}^n (X_i - \bar{X}) = 0$という制約があるため、$n$個の偏差のうち独立なものは$n-1$個です。
数学的解釈：
この統計量は自由度$n-1$のカイ二乗分布に従い、期待値は$n-1$です。
不偏性の確保：
分母を$n-1$にすることで、推定量の期待値が真の分散$\sigma^2$と一致します。
Step 6: 射影行列による解釈
標本平均による中心化は射影行列$\mathbf{P} = \mathbf{I} - \frac{1}{n}\mathbf{1}\mathbf{1}^T$による変換と解釈できます。この射影行列の階数（rank）は$n-1$であり、これが自由度の減少を説明します。
したがって、答えは$S^2 = \frac{1}{n-1}\sum_{i=1}^n (X_i - \bar{X})^2$です。