ベータ-二項共役事前分布の事後平均計算
この問題はベイズ統計学における共役事前分布の代表例で、事前情報とデータを組み合わせた推論の基本を学びます。
共役事前分布の利点
ベータ分布は二項分布（ベルヌーイ分布）の共役事前分布であり、事後分布も同じベータ分布になるため、解析的に計算できます。
Step 1: 問題設定の確認
- 事前分布：$\theta \sim \text{Beta}(\alpha_0, \beta_0) = \text{Beta}(2, 3)$
- 観測データ：10回中7回成功
- 尤度：二項分布 $\text{Binomial}(n=10, \theta)$
Step 2: 共役性による事後分布
ベータ-二項共役性により、事後分布は：
$$\theta|\text{data} \sim \text{Beta}(\alpha_0 + s, \beta_0 + n - s)$$
ここで：
- $s = 7$（成功回数）
- $n = 10$（試行回数）
- $\alpha_0 = 2$（事前パラメータ）
- $\beta_0 = 3$（事前パラメータ）
Step 3: 事後分布のパラメータ計算
$$\alpha_n = \alpha_0 + s = 2 + 7 = 9$$
$$\beta_n = \beta_0 + (n - s) = 3 + (10 - 7) = 3 + 3 = 6$$
したがって、事後分布は：
$$\theta|\text{data} \sim \text{Beta}(9, 6)$$
Step 4: ベータ分布の平均計算
ベータ分布$\text{Beta}(\alpha, \beta)$の平均は：
$$E[\theta] = \frac{\alpha}{\alpha + \beta}$$
事後平均：
$$E[\theta|\text{data}] = \frac{9}{9 + 6} = \frac{9}{15} = 0.6$$
小数第3位まで：0.600
結果の検証と解釈
| 推定方法 | 値 | 解釈 |
|---|
| 最尤推定 | 7/10 = 0.700 | データのみに基づく |
| 事前平均 | 2/(2+3) = 0.400 | 事前知識のみ |
| 事後平均 | 9/15 = 0.600 | 事前知識とデータの統合 |
Step 5: 重み付き平均としての解釈
事後平均は事前平均とサンプル平均の重み付き平均として表現できます：
$$E[\theta|\text{data}] = w_0 \cdot E[\theta] + w_1 \cdot \hat{\theta}_{ML}$$
ここで：
- $w_0 = \frac{\alpha_0 + \beta_0}{\alpha_0 + \beta_0 + n} = \frac{5}{15} = \frac{1}{3}$（事前の重み）
- $w_1 = \frac{n}{\alpha_0 + \beta_0 + n} = \frac{10}{15} = \frac{2}{3}$（データの重み）
$$0.600 = \frac{1}{3} \times 0.400 + \frac{2}{3} \times 0.700$$
ベイズ推定の特徴
- 情報の統合：事前知識とデータの最適な組み合わせ
- 収縮効果：極端な推定値を穏健な方向に調整
- 逐次更新：新しいデータで容易に更新可能
- 不確実性の定量化：事後分散も同時に得られる
事後分散の計算
参考として、事後分散も計算できます：
$$\text{Var}[\theta|\text{data}] = \frac{\alpha_n \beta_n}{(\alpha_n + \beta_n)^2(\alpha_n + \beta_n + 1)} = \frac{9 \times 6}{15^2 \times 16} = \frac{54}{3600} = 0.015$$
事後標準偏差：$\sqrt{0.015} ≈ 0.122$