ベイズ統計学

ベイズの定理、事前分布、事後分布、MCMC法、階層ベイズモデルなど、ベイズ統計学の理論と実践

MCMCサンプリングの収束診断レベル3

メトロポリス・ヘイスティングス法で正規分布$N(μ,1)$の$μ$からサンプリングを行う。現在の値$μ=2.5$、候補値$μ*=3.2$、目標分布$π(μ)∝exp(-μ²/8)$のとき、受容確率αはいくらか。小数第3位まで求めよ。

解説

解答と解説を表示

MCMCサンプリングの中核となるメトロポリス・ヘイスティングス（MH）アルゴリズムにおける受容確率の具体的計算を行います。

Step 1: メトロポリス・ヘイスティングス受容確率

MHアルゴリズムの受容確率の一般形：

$\alpha = \min\left(1, \frac{\pi(\mu^*) q(\mu|\mu^*)}{\pi(\mu) q(\mu^*|\mu)}\right)$

ここで：

Step 2: 対称提案分布の簡素化

提案分布が対称（$q(\mu^*|\mu) = q(\mu|\mu^*)$）の場合：

$\alpha = \min\left(1, \frac{\pi(\mu^*)}{\pi(\mu)}\right)$

これがメトロポリスアルゴリズムの特別な場合です。

Step 3: 目標分布の密度計算

目標分布：$\pi(\mu) \propto \exp(-\mu^2/8)$

現在の値での密度：

$\pi(2.5) \propto \exp\left(-\frac{(2.5)^2}{8}\right) = \exp\left(-\frac{6.25}{8}\right) = \exp(-0.78125)$

$\pi(2.5) \propto \exp(-0.78125) ≈ 0.458$

候補値での密度：

$\pi(3.2) \propto \exp\left(-\frac{(3.2)^2}{8}\right) = \exp\left(-\frac{10.24}{8}\right) = \exp(-1.28)$

$\pi(3.2) \propto \exp(-1.28) ≈ 0.278$

Step 4: 密度比の計算

$\frac{\pi(\mu^*)}{\pi(\mu)} = \frac{\pi(3.2)}{\pi(2.5)} = \frac{\exp(-1.28)}{\exp(-0.78125)}$

$= \exp(-1.28 + 0.78125) = \exp(-0.49875)$

$≈ 0.607$

Step 5: 受容確率の決定

密度比が1未満なので：

$\alpha = \min(1, 0.607) = 0.607$

Step 6: MCMCアルゴリズムの流れ

MCMCサンプリングでは以下の診断が重要：

Step 7: 実装上の考慮事項

提案分布の調整：

目標受容率：

問題検索