2パラメータ正規分布のジェフリーズ事前分布
多パラメータモデルにおけるジェフリーズ事前分布の計算は、フィッシャー情報行列の行列式に基づく重要な理論的課題です。
ジェフリーズ事前分布の一般形
パラメータベクトル$\boldsymbol{\theta} = (\theta_1, \theta_2, \ldots, \theta_k)$に対して：
$\pi_J(\boldsymbol{\theta}) \propto \sqrt{\det I(\boldsymbol{\theta})}$
ここで$I(\boldsymbol{\theta})$はフィッシャー情報行列です。
Step 1: 正規分布の対数尤度関数
正規分布$N(\mu, \sigma^2)$の確率密度関数：
$f(x|\mu,\sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)$
対数尤度関数（1つの観測値に対して）：
$\ell(\mu,\sigma^2|x) = -\frac{1}{2}\log(2\pi) - \frac{1}{2}\log(\sigma^2) - \frac{(x-\mu)^2}{2\sigma^2}$
Step 2: 1次導関数の計算
μに関する1次導関数：
$\frac{\partial \ell}{\partial \mu} = \frac{x-\mu}{\sigma^2}$
σ²に関する1次導関数：
$\frac{\partial \ell}{\partial \sigma^2} = -\frac{1}{2\sigma^2} + \frac{(x-\mu)^2}{2(\sigma^2)^2}$
Step 3: 2次導関数の計算
μに関する2次導関数：
$\frac{\partial^2 \ell}{\partial \mu^2} = -\frac{1}{\sigma^2}$
σ²に関する2次導関数：
$\frac{\partial^2 \ell}{\partial (\sigma^2)^2} = \frac{1}{2(\sigma^2)^2} - \frac{(x-\mu)^2}{(\sigma^2)^3}$
混合2次導関数：
$\frac{\partial^2 \ell}{\partial \mu \partial \sigma^2} = -\frac{x-\mu}{(\sigma^2)^2}$
Step 4: フィッシャー情報行列の要素
フィッシャー情報行列の各要素は、2次導関数の負の期待値：
$I_{\mu,\mu} = E\left[-\frac{\partial^2 \ell}{\partial \mu^2}\right] = E\left[\frac{1}{\sigma^2}\right] = \frac{1}{\sigma^2}$
$I_{\sigma^2,\sigma^2} = E\left[-\frac{\partial^2 \ell}{\partial (\sigma^2)^2}\right] = E\left[-\frac{1}{2(\sigma^2)^2} + \frac{(X-\mu)^2}{(\sigma^2)^3}\right]$
$(X-\mu)^2$の期待値は$\sigma^2$なので：
$I_{\sigma^2,\sigma^2} = -\frac{1}{2(\sigma^2)^2} + \frac{\sigma^2}{(\sigma^2)^3} = -\frac{1}{2(\sigma^2)^2} + \frac{1}{(\sigma^2)^2} = \frac{1}{2(\sigma^2)^2}$
$I_{\mu,\sigma^2} = E\left[-\frac{\partial^2 \ell}{\partial \mu \partial \sigma^2}\right] = E\left[\frac{X-\mu}{(\sigma^2)^2}\right] = \frac{E[X-\mu]}{(\sigma^2)^2} = 0$
Step 5: フィッシャー情報行列
$I(\mu,\sigma^2) = \begin{pmatrix} \frac{1}{\sigma^2} & 0 \\ 0 & \frac{1}{2(\sigma^2)^2} \end{pmatrix}$
この行列は対角行列なので、行列式は対角要素の積：
$\det I(\mu,\sigma^2) = \frac{1}{\sigma^2} \cdot \frac{1}{2(\sigma^2)^2} = \frac{1}{2(\sigma^2)^3}$
なぜ非対角要素が0なのか
$I_{\mu,\sigma^2} = 0$となるのは、位置パラメータμとスケールパラメータσ²が「直交」しているためです。これは正規分布の重要な性質で、μの推定精度がσ²に依存しないことを示しています。
Step 6: ジェフリーズ事前分布の導出
$\pi_J(\mu,\sigma^2) \propto \sqrt{\det I(\mu,\sigma^2)} = \sqrt{\frac{1}{2(\sigma^2)^3}} = \frac{1}{\sqrt{2}(\sigma^2)^{3/2}}$
比例定数を無視すると：
$\pi_J(\mu,\sigma^2) \propto \frac{1}{\sigma^{3}}$
これは$\sigma^2$に対して逆ガンマ分布の形（パラメータによる）になります。