フィッシャー情報量の定義と意義
フィッシャー情報量は、データから得られるパラメータに関する情報の量を定量化する重要な概念です。
フィッシャー情報量の理論的基礎
Step 1: フィッシャー情報量の定義
パラメータ$\theta$に関するフィッシャー情報量は以下で定義されます：
$I(\theta) = E\left[\left(\frac{\partial \log f(X; \theta)}{\partial \theta}\right)^2\right] = -E\left[\frac{\partial^2 \log f(X; \theta)}{\partial \theta^2}\right]$
第2の等号は正則条件下で成り立ちます。
Step 2: 正規分布の確率密度関数
正規分布$N(\mu, \sigma^2)$（$\mu$既知）の確率密度関数：
$f(x; \sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)$
対数尤度関数の導出
Step 3: 対数尤度関数
単一観測値$X$に対する対数尤度：
$\ell(\sigma^2) = \log f(X; \sigma^2) = -\frac{1}{2}\log(2\pi) - \frac{1}{2}\log(\sigma^2) - \frac{(X-\mu)^2}{2\sigma^2}$
Step 4: 一階微分（スコア関数）
$\sigma^2$に関する一階微分：
$\frac{\partial \ell}{\partial \sigma^2} = -\frac{1}{2\sigma^2} + \frac{(X-\mu)^2}{2(\sigma^2)^2}$
$= \frac{1}{2\sigma^2}\left[-1 + \frac{(X-\mu)^2}{\sigma^2}\right]$
Step 5: 二階微分
$\sigma^2$に関する二階微分：
$\frac{\partial^2 \ell}{\partial (\sigma^2)^2} = \frac{1}{2\sigma^4} - \frac{(X-\mu)^2}{(\sigma^2)^3}$
$= \frac{1}{2\sigma^4}\left[1 - \frac{2(X-\mu)^2}{\sigma^2}\right]$
期待値の計算
Step 6: 一階微分の期待値
スコア関数の期待値（正則条件により0）：
$E\left[\frac{\partial \ell}{\partial \sigma^2}\right] = \frac{1}{2\sigma^2}\left[-1 + \frac{E[(X-\mu)^2]}{\sigma^2}\right] = \frac{1}{2\sigma^2}\left[-1 + \frac{\sigma^2}{\sigma^2}\right] = 0$
Step 7: 一階微分の二乗の期待値
$E\left[\left(\frac{\partial \ell}{\partial \sigma^2}\right)^2\right] = E\left[\left(\frac{1}{2\sigma^2}\left[-1 + \frac{(X-\mu)^2}{\sigma^2}\right]\right)^2\right]$
$= \frac{1}{4\sigma^4} E\left[\left(-1 + \frac{(X-\mu)^2}{\sigma^2}\right)^2\right]$
$(X-\mu)^2/\sigma^2 \sim \chi^2_1$なので、$E[(X-\mu)^2/\sigma^2] = 1$、$\text{Var}[(X-\mu)^2/\sigma^2] = 2$
したがって：
$E\left[\left(-1 + \frac{(X-\mu)^2}{\sigma^2}\right)^2\right] = \text{Var}\left[\frac{(X-\mu)^2}{\sigma^2}\right] = 2$
$E\left[\left(\frac{\partial \ell}{\partial \sigma^2}\right)^2\right] = \frac{1}{4\sigma^4} \cdot 2 = \frac{1}{2\sigma^4}$
代替計算：二階微分による方法
Step 8: 二階微分の期待値
$E\left[\frac{\partial^2 \ell}{\partial (\sigma^2)^2}\right] = \frac{1}{2\sigma^4}\left[1 - \frac{2E[(X-\mu)^2]}{\sigma^2}\right]$
$= \frac{1}{2\sigma^4}\left[1 - \frac{2\sigma^2}{\sigma^2}\right] = \frac{1}{2\sigma^4}(1 - 2) = -\frac{1}{2\sigma^4}$
したがって：
$I(\sigma^2) = -E\left[\frac{\partial^2 \ell}{\partial (\sigma^2)^2}\right] = -\left(-\frac{1}{2\sigma^4}\right) = \frac{1}{2\sigma^4}$
標本に対するフィッシャー情報量
Step 9: $n$個の独立標本
独立な標本$X_1, \ldots, X_n$に対して：
$I_n(\sigma^2) = n \cdot I(\sigma^2) = n \cdot \frac{1}{2\sigma^4} = \frac{n}{2\sigma^4}$
フィッシャー情報量の解釈
- 情報の加法性：独立観測値の情報量は加算される
- パラメータの精度：$I(\theta)$が大きいほど$\theta$の推定精度が高い
- クラメール・ラオ下界：不偏推定量の分散の下界は$1/I(\theta)$
- 漸近有効性：最尤推定量は漸近的に$1/I(\theta)$の分散を持つ
実用的応用と検証
Step 10: 結果の検証
$\sigma^2$の最尤推定量$\hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^n (X_i - \mu)^2$について：
$\text{Var}(\hat{\sigma}^2) = \text{Var}\left(\frac{\sigma^2}{n} \chi^2_n\right) = \frac{\sigma^4}{n^2} \cdot 2n = \frac{2\sigma^4}{n}$
クラメール・ラオ下界：$\frac{1}{I_n(\sigma^2)} = \frac{2\sigma^4}{n}$
一致しており、最尤推定量が漸近有効であることが確認できます。
したがって、$\sigma^2$に関するフィッシャー情報量は$I(\sigma^2) = \frac{n}{2\sigma^4}$です。