ベイズ統計学

ベイズの定理、事前分布、事後分布、MCMC法、階層ベイズモデルなど、ベイズ統計学の理論と実践

逐次ベイズ更新の計算レベル2

コインの表が出る確率θについて、事前分布$Beta(3,2)$を設定した。1回目の投げで裏、2回目の投げで表が出た。2回目の観測後の事後分布の平均はいくらか。小数第3位まで求めよ。

解説

解答と解説を表示

逐次ベイズ更新は、新しいデータが得られるたびに事後分布を段階的に更新していく手法で、リアルタイム推論やオンライン学習の基礎となります。

問題設定の整理

Step 1: ベータ-二項共役性の活用

ベータ分布は二項分布（ベルヌーイ分布）の共役事前分布であり、事後分布も解析的に求められます：

$\text{事前} : \theta \sim \text{Beta}(\alpha, \beta)$

$\text{観測} : x \sim \text{Bernoulli}(\theta)$

$\text{事後} : \theta|x \sim \text{Beta}(\alpha + s, \beta + f)$

ここで、$s$は成功回数、$f$は失敗回数です。

Step 2: 1回目の更新（裏が出た場合）

初期事前分布：$\text{Beta}(3, 2)$

1回目の観測：裏（失敗）→ $s_1 = 0$, $f_1 = 1$

$\theta|x_1 \sim \text{Beta}(3 + 0, 2 + 1) = \text{Beta}(3, 3)$

1回目観測後の事後平均：

$E[\theta|x_1] = \frac{3}{3 + 3} = \frac{3}{6} = 0.5$

Step 3: 2回目の更新（表が出た場合）

1回目観測後の事後分布：$\text{Beta}(3, 3)$（これが2回目の事前分布）

2回目の観測：表（成功）→ $s_2 = 1$, $f_2 = 0$

$\theta|x_1, x_2 \sim \text{Beta}(3 + 1, 3 + 0) = \text{Beta}(4, 3)$

Step 4: 最終的な事後平均の計算

2回目観測後の事後平均：

$E[\theta|x_1, x_2] = \frac{4}{4 + 3} = \frac{4}{7} ≈ 0.571$

小数第3位まで：0.571

別の方法で確認：全体として成功1回、失敗1回

$\theta|\text{all data} \sim \text{Beta}(3 + 1, 2 + 1) = \text{Beta}(4, 3)$

同じ結果：$E[\theta] = \frac{4}{7} = 0.571$ ✓

Step 5: 各段階での事後分布の比較

Step 6: 予測分布の計算

次回投げで表が出る確率（予測事後分布）：

$P(x_3 = 1|x_1, x_2) = E[\theta|x_1, x_2] = 0.571$

これは事後平均と一致し、ベイズ予測の一貫性を示しています。

問題検索