不偏推定量の数学的定義
推定量$\hat{\theta}$が母数$\theta$の不偏推定量であるとは：
$E[\hat{\theta}] = \theta$
が成り立つことです。これは推定量の期待値が真の母数と一致することを意味します。
分散推定における基本的恒等式
Step 1: 平方和の分解
以下の恒等式を導出します：
$\sum_{i=1}^n (X_i - \bar{X})^2 = \sum_{i=1}^n (X_i - \mu)^2 - n(\bar{X} - \mu)^2$
証明：
$\begin{align}\sum_{i=1}^n (X_i - \bar{X})^2 &= \sum_{i=1}^n [(X_i - \mu) - (\bar{X} - \mu)]^2 \\&= \sum_{i=1}^n (X_i - \mu)^2 - 2\sum_{i=1}^n (X_i - \mu)(\bar{X} - \mu) + \sum_{i=1}^n (\bar{X} - \mu)^2 \\&= \sum_{i=1}^n (X_i - \mu)^2 - 2(\bar{X} - \mu)\sum_{i=1}^n (X_i - \mu) + n(\bar{X} - \mu)^2\end{align}$
ここで$\sum_{i=1}^n (X_i - \mu) = n\bar{X} - n\mu = n(\bar{X} - \mu)$なので：
$\sum_{i=1}^n (X_i - \bar{X})^2 = \sum_{i=1}^n (X_i - \mu)^2 - 2n(\bar{X} - \mu)^2 + n(\bar{X} - \mu)^2 = \sum_{i=1}^n (X_i - \mu)^2 - n(\bar{X} - \mu)^2$
期待値の計算と不偏性の証明
Step 2: 各項の期待値
正規分布$N(\mu, \sigma^2)$において：
$E[X_i] = \mu, \quad \text{Var}(X_i) = E[(X_i - \mu)^2] = \sigma^2$
$E[\bar{X}] = \mu, \quad \text{Var}(\bar{X}) = E[(\bar{X} - \mu)^2] = \frac{\sigma^2}{n}$
Step 3: 平方和の期待値
Step 1の恒等式の両辺の期待値を取ると：
$E\left[\sum_{i=1}^n (X_i - \bar{X})^2\right] = E\left[\sum_{i=1}^n (X_i - \mu)^2\right] - nE[(\bar{X} - \mu)^2]$
$= n\sigma^2 - n \cdot \frac{\sigma^2}{n} = n\sigma^2 - \sigma^2 = (n-1)\sigma^2$
各推定量の不偏性の検証
Step 4: 標本分散の期待値
標本分散$S^2 = \frac{1}{n-1}\sum_{i=1}^n (X_i - \bar{X})^2$について：
$E[S^2] = E\left[\frac{1}{n-1}\sum_{i=1}^n (X_i - \bar{X})^2\right] = \frac{1}{n-1} \cdot (n-1)\sigma^2 = \sigma^2$
したがって$S^2$は$\sigma^2$の不偏推定量です。
Step 5: 他の推定量の検証
| 推定量 | 期待値 | 不偏性 |
|---|
| $\frac{1}{n}\sum_{i=1}^n (X_i - \bar{X})^2$ | $\frac{n-1}{n}\sigma^2$ | 偏り有り（過小推定） |
| $\frac{1}{n-1}\sum_{i=1}^n (X_i - \bar{X})^2$ | $\sigma^2$ | 不偏 |
| $\frac{1}{n}\sum_{i=1}^n (X_i - \mu)^2$ | $\sigma^2$ | 不偏（但し$\mu$既知） |
| $\frac{1}{n-1}\sum_{i=1}^n (X_i - \mu)^2$ | $\frac{n}{n-1}\sigma^2$ | 偏り有り（過大推定） |
| $\frac{1}{n+1}\sum_{i=1}^n (X_i - \bar{X})^2$ | $\frac{n-1}{n+1}\sigma^2$ | 偏り有り（過小推定） |
ベッセルの補正の理論的背景
自由度の概念とベッセルの補正
自由度の減少：
$\sum_{i=1}^n (X_i - \bar{X})^2$において、$\sum_{i=1}^n (X_i - \bar{X}) = 0$という制約があるため、$n$個の偏差のうち独立なものは$n-1$個です。
数学的解釈：
$\frac{\sum_{i=1}^n (X_i - \bar{X})^2}{\sigma^2} \sim \chi^2_{n-1}$
この統計量は自由度$n-1$のカイ二乗分布に従い、期待値は$n-1$です。
不偏性の確保：
分母を$n-1$にすることで、推定量の期待値が真の分散$\sigma^2$と一致します。
最小二乗推定との関係
Step 6: 射影行列による解釈
標本平均による中心化は射影行列$\mathbf{P} = \mathbf{I} - \frac{1}{n}\mathbf{1}\mathbf{1}^T$による変換と解釈できます。この射影行列の階数（rank）は$n-1$であり、これが自由度の減少を説明します。
したがって、答えは$S^2 = \frac{1}{n-1}\sum_{i=1}^n (X_i - \bar{X})^2$です。