2パラメータ正規分布のジェフリーズ事前分布
多パラメータモデルにおけるジェフリーズ事前分布の計算は、フィッシャー情報行列の行列式に基づく重要な理論的課題です。
ジェフリーズ事前分布の一般形
パラメータベクトル$\\boldsymbol{\\theta} = (\\theta_1, \\theta_2, \\ldots, \\theta_k)$に対して：
$$\\pi_J(\\boldsymbol{\\theta}) \\propto \\sqrt{\\det I(\\boldsymbol{\\theta})}$$
ここで$I(\\boldsymbol{\\theta})$はフィッシャー情報行列です。
Step 1: 正規分布の対数尤度関数
正規分布$N(\\mu, \\sigma^2)$の確率密度関数：
$$f(x|\\mu,\\sigma^2) = \\frac{1}{\\sqrt{2\\pi\\sigma^2}} \\exp\\left(-\\frac{(x-\\mu)^2}{2\\sigma^2}\\right)$$
対数尤度関数（1つの観測値に対して）：
$$\\ell(\\mu,\\sigma^2|x) = -\\frac{1}{2}\\log(2\\pi) - \\frac{1}{2}\\log(\\sigma^2) - \\frac{(x-\\mu)^2}{2\\sigma^2}$$
Step 2: 1次導関数の計算
μに関する1次導関数：
$$\\frac{\\partial \\ell}{\\partial \\mu} = \\frac{x-\\mu}{\\sigma^2}$$
σ²に関する1次導関数：
$$\\frac{\\partial \\ell}{\\partial \\sigma^2} = -\\frac{1}{2\\sigma^2} + \\frac{(x-\\mu)^2}{2(\\sigma^2)^2}$$
Step 3: 2次導関数の計算
μに関する2次導関数：
$$\\frac{\\partial^2 \\ell}{\\partial \\mu^2} = -\\frac{1}{\\sigma^2}$$
σ²に関する2次導関数：
$$\\frac{\\partial^2 \\ell}{\\partial (\\sigma^2)^2} = \\frac{1}{2(\\sigma^2)^2} - \\frac{(x-\\mu)^2}{(\\sigma^2)^3}$$
混合2次導関数：
$$\\frac{\\partial^2 \\ell}{\\partial \\mu \\partial \\sigma^2} = -\\frac{x-\\mu}{(\\sigma^2)^2}$$
Step 4: フィッシャー情報行列の要素
フィッシャー情報行列の各要素は、2次導関数の負の期待値：
$$I_{\\mu,\\mu} = E\\left[-\\frac{\\partial^2 \\ell}{\\partial \\mu^2}\\right] = E\\left[\\frac{1}{\\sigma^2}\\right] = \\frac{1}{\\sigma^2}$$
$$I_{\\sigma^2,\\sigma^2} = E\\left[-\\frac{\\partial^2 \\ell}{\\partial (\\sigma^2)^2}\\right] = E\\left[-\\frac{1}{2(\\sigma^2)^2} + \\frac{(X-\\mu)^2}{(\\sigma^2)^3}\\right]$$
$(X-\\mu)^2$の期待値は$\\sigma^2$なので：
$$I_{\\sigma^2,\\sigma^2} = -\\frac{1}{2(\\sigma^2)^2} + \\frac{\\sigma^2}{(\\sigma^2)^3} = -\\frac{1}{2(\\sigma^2)^2} + \\frac{1}{(\\sigma^2)^2} = \\frac{1}{2(\\sigma^2)^2}$$
$$I_{\\mu,\\sigma^2} = E\\left[-\\frac{\\partial^2 \\ell}{\\partial \\mu \\partial \\sigma^2}\\right] = E\\left[\\frac{X-\\mu}{(\\sigma^2)^2}\\right] = \\frac{E[X-\\mu]}{(\\sigma^2)^2} = 0$$
Step 5: フィッシャー情報行列
$$I(\\mu,\\sigma^2) = \\begin{pmatrix} \\frac{1}{\\sigma^2} & 0 \\\\ 0 & \\frac{1}{2(\\sigma^2)^2} \\end{pmatrix}$$
この行列は対角行列なので、行列式は対角要素の積：
$$\\det I(\\mu,\\sigma^2) = \\frac{1}{\\sigma^2} \\cdot \\frac{1}{2(\\sigma^2)^2} = \\frac{1}{2(\\sigma^2)^3}$$
なぜ非対角要素が0なのか
$I_{\\mu,\\sigma^2} = 0$となるのは、位置パラメータμとスケールパラメータσ²が「直交」しているためです。これは正規分布の重要な性質で、μの推定精度がσ²に依存しないことを示しています。
Step 6: ジェフリーズ事前分布の導出
$$\\pi_J(\\mu,\\sigma^2) \\propto \\sqrt{\\det I(\\mu,\\sigma^2)} = \\sqrt{\\frac{1}{2(\\sigma^2)^3}} = \\frac{1}{\\sqrt{2}(\\sigma^2)^{3/2}}$$
比例定数を無視すると：
$$\\pi_J(\\mu,\\sigma^2) \\propto \\frac{1}{\\sigma^{3}}$$
これは$\\sigma^2$に対して逆ガンマ分布の形（パラメータによる）になります。
"