経験ベイズ法：データからハイパーパラメータを学習する手法
経験ベイズ法は、事前分布のハイパーパラメータを観測データから推定し、より現実的なベイズ推論を行う手法です。複数の類似した問題を同時に扱う際に特に有効です。
経験ベイズ法の基本概念
- 階層モデル：$\theta_i \sim \text{Beta}(\alpha, \beta)$, $X_i|\theta_i \sim \text{Binomial}(n_i, \theta_i)$
- ハイパーパラメータ推定：$(\alpha, \beta)$をデータから推定
- 経験ベイズ推定：推定されたハイパーパラメータで事後分布を計算
Step 1: 問題設定の整理
各工場のデータ：
- 工場1：10個中2個不良（成功率推定：2/10 = 0.2）
- 工場2：10個中4個不良（成功率推定：4/10 = 0.4）
- 工場3：10個中6個不良（成功率推定：6/10 = 0.6）
階層モデル：
$\theta_i \sim \text{Beta}(\alpha, \beta) \quad (i = 1, 2, 3)$
$X_i|\theta_i \sim \text{Binomial}(n_i = 10, \theta_i)$
Step 2: 経験ベイズ推定の原理
経験ベイズ法では、ハイパーパラメータ$(\alpha, \beta)$をデータから推定します。一般的な方法：
- モーメント法：標本平均・分散とベータ分布の理論値を対応させる
- 最尤法：周辺尤度を最大化
- EM算法：欠測データとして潜在変数を扱う
問題では$\alpha = 2, \beta = 8$が与えられています。
Step 3: 推定されたハイパーパラメータの検証
ベータ分布$\text{Beta}(2, 8)$の性質：
$E[\theta] = \frac{\alpha}{\alpha + \beta} = \frac{2}{2 + 8} = \frac{2}{10} = 0.2$
$\text{Var}[\theta] = \frac{\alpha\beta}{(\alpha + \beta)^2(\alpha + \beta + 1)} = \frac{2 \times 8}{10^2 \times 11} = \frac{16}{1100} ≈ 0.015$
標本での検証：
$\bar{\theta} = \frac{0.2 + 0.4 + 0.6}{3} = \frac{1.2}{3} = 0.4$
理論平均0.2と標本平均0.4の差は、経験ベイズ推定の課題を示しています。
Step 4: 工場2の事後分布計算
ベータ-二項共役性により、工場2の事後分布は：
$\theta_2|x_2 \sim \text{Beta}(\alpha + x_2, \beta + n_2 - x_2)$
ここで：
- $\alpha = 2$（推定されたハイパーパラメータ）
- $\beta = 8$（推定されたハイパーパラメータ）
- $x_2 = 4$（工場2の不良品数）
- $n_2 = 10$（工場2の検査数）
$\theta_2|x_2 \sim \text{Beta}(2 + 4, 8 + 10 - 4) = \text{Beta}(6, 14)$
Step 5: 経験ベイズ推定値の計算
工場2の事後平均（経験ベイズ推定値）：
$\hat{\theta}_2^{EB} = E[\theta_2|x_2] = \frac{6}{6 + 14} = \frac{6}{20} = 0.3$
より詳細な計算：
$\hat{\theta}_2^{EB} = \frac{\alpha + x_2}{\alpha + \beta + n_2} = \frac{2 + 4}{2 + 8 + 10} = \frac{6}{20} = 0.300$
小数第3位まで：0.300
経験ベイズ推定の特徴
| 推定法 | 工場2の推定値 | 特徴 |
|---|
| 最尤推定 | 4/10 = 0.400 | データのみ使用 |
| 経験ベイズ | 6/20 = 0.300 | 他の工場のデータも活用 |
| 収縮効果 | 0.4 → 0.3 | 全体平均方向への調整 |
Step 6: 収縮効果の分析
経験ベイズ推定は、個別推定値を全体の傾向に向けて収縮させます：
$\hat{\theta}_i^{EB} = \frac{\alpha + x_i}{\alpha + \beta + n_i}$
これは次のように分解できます：
$\hat{\theta}_i^{EB} = \lambda \cdot \frac{x_i}{n_i} + (1-\lambda) \cdot \frac{\alpha}{\alpha + \beta}$
ここで、$\lambda = \frac{n_i}{\alpha + \beta + n_i} = \frac{10}{20} = 0.5$
$\hat{\theta}_2^{EB} = 0.5 \times 0.4 + 0.5 \times 0.2 = 0.2 + 0.1 = 0.3$
Step 7: 全工場の経験ベイズ推定値
| 工場 | 不良品数 | MLE | 経験ベイズ | 収縮効果 |
|---|
| 1 | 2/10 | 0.200 | 0.200 | なし |
| 2 | 4/10 | 0.400 | 0.300 | ↓ 0.1 |
| 3 | 6/10 | 0.600 | 0.400 | ↓ 0.2 |
収縮パターンの解釈
- 極端値の修正：高い値（工場3）がより大きく収縮
- 安定化効果：個別推定の不安定性を軽減
- 情報借用：類似データからの学習効果
Step 8: 予測分布による検証
工場2で新たに1個検査した時の不良確率：
$P(\text{新製品が不良}|x_2) = E[\theta_2|x_2] = 0.3$
これは点推定値と一致し、予測の一貫性を示しています。