統計的推測(推定)

最尤推定、ベイズ推定、区間推定など統計検定準1級レベルの統計的推定理論を学習します。

不偏推定量の性質 レベル1

正規分布$N(\mu, \sigma^2)$からの標本$X_1, \ldots, X_n$について、$\sigma^2$の不偏推定量はどれか。

解説
解答と解説を表示
<h4>不偏推定量の数学的定義</h4><p>推定量$\hat{\theta}$が母数$\theta$の不偏推定量であるとは:</p><div class='formula'>$E[\hat{\theta}] = \theta
lt;/div><p>が成り立つことです。これは推定量の期待値が真の母数と一致することを意味します。</p><h4>分散推定における基本的恒等式</h4><p class='step'><strong>Step 1: 平方和の分解</strong></p><p>以下の恒等式を導出します:</p><div class='formula'>$\sum_{i=1}^n (X_i - \bar{X})^2 = \sum_{i=1}^n (X_i - \mu)^2 - n(\bar{X} - \mu)^2
lt;/div><p><strong>証明</strong>:</p><div class='formula'>$\begin{align}\sum_{i=1}^n (X_i - \bar{X})^2 &= \sum_{i=1}^n [(X_i - \mu) - (\bar{X} - \mu)]^2 \\&= \sum_{i=1}^n (X_i - \mu)^2 - 2\sum_{i=1}^n (X_i - \mu)(\bar{X} - \mu) + \sum_{i=1}^n (\bar{X} - \mu)^2 \\&= \sum_{i=1}^n (X_i - \mu)^2 - 2(\bar{X} - \mu)\sum_{i=1}^n (X_i - \mu) + n(\bar{X} - \mu)^2\end{align}
lt;/div><p>ここで$\sum_{i=1}^n (X_i - \mu) = n\bar{X} - n\mu = n(\bar{X} - \mu)$なので:</p><div class='formula'>$\sum_{i=1}^n (X_i - \bar{X})^2 = \sum_{i=1}^n (X_i - \mu)^2 - 2n(\bar{X} - \mu)^2 + n(\bar{X} - \mu)^2 = \sum_{i=1}^n (X_i - \mu)^2 - n(\bar{X} - \mu)^2
lt;/div><h4>期待値の計算と不偏性の証明</h4><p class='step'><strong>Step 2: 各項の期待値</strong></p><p>正規分布$N(\mu, \sigma^2)$において:</p><div class='formula'>$E[X_i] = \mu, \quad \text{Var}(X_i) = E[(X_i - \mu)^2] = \sigma^2
lt;/div><div class='formula'>$E[\bar{X}] = \mu, \quad \text{Var}(\bar{X}) = E[(\bar{X} - \mu)^2] = \frac{\sigma^2}{n}
lt;/div><p class='step'><strong>Step 3: 平方和の期待値</strong></p><p>Step 1の恒等式の両辺の期待値を取ると:</p><div class='formula'>$E\left[\sum_{i=1}^n (X_i - \bar{X})^2\right] = E\left[\sum_{i=1}^n (X_i - \mu)^2\right] - nE[(\bar{X} - \mu)^2]
lt;/div><div class='formula'>$= n\sigma^2 - n \cdot \frac{\sigma^2}{n} = n\sigma^2 - \sigma^2 = (n-1)\sigma^2
lt;/div><h4>各推定量の不偏性の検証</h4><p class='step'><strong>Step 4: 標本分散の期待値</strong></p><p>標本分散$S^2 = \frac{1}{n-1}\sum_{i=1}^n (X_i - \bar{X})^2$について:</p><div class='formula'>$E[S^2] = E\left[\frac{1}{n-1}\sum_{i=1}^n (X_i - \bar{X})^2\right] = \frac{1}{n-1} \cdot (n-1)\sigma^2 = \sigma^2
lt;/div><p>したがって$S^2$は$\sigma^2$の不偏推定量です。</p><p class='step'><strong>Step 5: 他の推定量の検証</strong></p><table border='1' style='border-collapse: collapse; width: 100%;'><tr><th>推定量</th><th>期待値</th><th>不偏性</th></tr><tr><td>$\frac{1}{n}\sum_{i=1}^n (X_i - \bar{X})^2
lt;/td><td>$\frac{n-1}{n}\sigma^2
lt;/td><td>偏り有り(過小推定)</td></tr><tr><td>$\frac{1}{n-1}\sum_{i=1}^n (X_i - \bar{X})^2
lt;/td><td>$\sigma^2
lt;/td><td>不偏</td></tr><tr><td>$\frac{1}{n}\sum_{i=1}^n (X_i - \mu)^2
lt;/td><td>$\sigma^2
lt;/td><td>不偏(但し$\mu$既知)</td></tr><tr><td>$\frac{1}{n-1}\sum_{i=1}^n (X_i - \mu)^2
lt;/td><td>$\frac{n}{n-1}\sigma^2
lt;/td><td>偏り有り(過大推定)</td></tr><tr><td>$\frac{1}{n+1}\sum_{i=1}^n (X_i - \bar{X})^2
lt;/td><td>$\frac{n-1}{n+1}\sigma^2
lt;/td><td>偏り有り(過小推定)</td></tr></table><h4>ベッセルの補正の理論的背景</h4><div class='key-point'><div class='key-point-title'>自由度の概念とベッセルの補正</div><p><strong>自由度の減少</strong>:</p><p>$\sum_{i=1}^n (X_i - \bar{X})^2$において、$\sum_{i=1}^n (X_i - \bar{X}) = 0$という制約があるため、$n$個の偏差のうち独立なものは$n-1$個です。</p><p><strong>数学的解釈</strong>:</p><div class='formula'>$\frac{\sum_{i=1}^n (X_i - \bar{X})^2}{\sigma^2} \sim \chi^2_{n-1}
lt;/div><p>この統計量は自由度$n-1$のカイ二乗分布に従い、期待値は$n-1$です。</p><p><strong>不偏性の確保</strong>:</p><p>分母を$n-1$にすることで、推定量の期待値が真の分散$\sigma^2$と一致します。</p></div><h4>最小二乗推定との関係</h4><p class='step'><strong>Step 6: 射影行列による解釈</strong></p><p>標本平均による中心化は射影行列$\mathbf{P} = \mathbf{I} - \frac{1}{n}\mathbf{1}\mathbf{1}^T$による変換と解釈できます。この射影行列の階数(rank)は$n-1$であり、これが自由度の減少を説明します。</p><p>したがって、答えは$S^2 = \frac{1}{n-1}\sum_{i=1}^n (X_i - \bar{X})^2$です。</p>
問題 1/10
カテゴリ一覧に戻る