メトロポリス・ヘイスティングス法の受容確率計算
MCMCサンプリングの中核となるメトロポリス・ヘイスティングス（MH）アルゴリズムにおける受容確率の具体的計算を行います。
問題設定の整理
- 現在の値：$\\mu = 2.5$
- 候補値：$\\mu^* = 3.2$
- 目標分布：$\\pi(\\mu) \\propto \\exp(-\\mu^2/8)$
- 提案分布：正規分布$N(\\mu, 1)$（対称）
Step 1: メトロポリス・ヘイスティングス受容確率
MHアルゴリズムの受容確率の一般形：
$$\\alpha = \\min\\left(1, \\frac{\\pi(\\mu^*) q(\\mu|\\mu^*)}{\\pi(\\mu) q(\\mu^*|\\mu)}\\right)$$
ここで：
- $\\pi(\\cdot)$：目標分布の密度
- $q(\\cdot|\\cdot)$：提案分布の密度
Step 2: 対称提案分布の簡素化
提案分布が対称（$q(\\mu^*|\\mu) = q(\\mu|\\mu^*)$）の場合：
$$\\alpha = \\min\\left(1, \\frac{\\pi(\\mu^*)}{\\pi(\\mu)}\\right)$$
これがメトロポリスアルゴリズムの特別な場合です。
Step 3: 目標分布の密度計算
目標分布：$\\pi(\\mu) \\propto \\exp(-\\mu^2/8)$
現在の値での密度：
$$\\pi(2.5) \\propto \\exp\\left(-\\frac{(2.5)^2}{8}\\right) = \\exp\\left(-\\frac{6.25}{8}\\right) = \\exp(-0.78125)$$
$$\\pi(2.5) \\propto \\exp(-0.78125) ≈ 0.458$$
候補値での密度：
$$\\pi(3.2) \\propto \\exp\\left(-\\frac{(3.2)^2}{8}\\right) = \\exp\\left(-\\frac{10.24}{8}\\right) = \\exp(-1.28)$$
$$\\pi(3.2) \\propto \\exp(-1.28) ≈ 0.278$$
Step 4: 密度比の計算
$$\\frac{\\pi(\\mu^*)}{\\pi(\\mu)} = \\frac{\\pi(3.2)}{\\pi(2.5)} = \\frac{\\exp(-1.28)}{\\exp(-0.78125)}$$
$$= \\exp(-1.28 + 0.78125) = \\exp(-0.49875)$$
$$≈ 0.607$$
Step 5: 受容確率の決定
密度比が1未満なので：
$$\\alpha = \\min(1, 0.607) = 0.607$$
結果の解釈
- 受容確率60.7%：候補値が比較的高い確率で受容される
- 密度の減少：候補値の方が密度が低いため、必ず受容されるわけではない
- 探索の継続：低密度領域への移動も可能にしている
Step 6: MCMCアルゴリズムの流れ
- 候補生成：$\\mu^* \\sim N(\\mu_t, 1)$
- 受容確率計算：$\\alpha = \\min(1, \\pi(\\mu^*)/\\pi(\\mu_t))$
- 受容判定：$u \\sim U(0,1)$で$u < \\alpha$なら受容
- 状態更新：受容なら$\\mu_{t+1} = \\mu^*$、棄却なら$\\mu_{t+1} = \\mu_t$
収束診断の重要性
MCMCサンプリングでは以下の診断が重要：
- トレースプロット：チェーンの時系列的変化
- $\\hat{R}$統計量：複数チェーン間の比較
- 有効サンプルサイズ：自己相関の評価
- 受容率：23-50%が理想的
Step 7: 実装上の考慮事項
提案分布の調整：
- 分散が小さすぎる：受容率高いが探索効率低い
- 分散が大きすぎる：受容率低く非効率
- 適応的調整：ウォームアップ期間での自動調整
目標受容率：
- 1次元：約44%
- 高次元：約23%
- 調整方法：提案分散のスケーリング