指数分布に対する共役事前分布の理論と実践
共役事前分布は、事後分布が事前分布と同じ分布族になる特別な事前分布で、計算の簡略化と直感的理解に重要な役割を果たします。
共役性の数学的原理
尤度関数と事前分布の積が、事前分布と同じ関数形になる場合、その事前分布を共役事前分布と呼びます。
Step 1: 指数分布の尤度関数分析
指数分布の確率密度関数：
$f(x|\lambda) = \lambda e^{-\lambda x}, \quad x \geq 0$
n個の独立観測値 $x_1, x_2, \ldots, x_n$ に対する尤度関数：
$L(\lambda|\mathbf{x}) = \prod_{i=1}^n \lambda e^{-\lambda x_i} = \lambda^n e^{-\lambda \sum_{i=1}^n x_i}$
対数尤度：
$\log L(\lambda|\mathbf{x}) = n \log \lambda - \lambda \sum_{i=1}^n x_i$
Step 2: 共役事前分布の導出
尤度関数の形から、$\lambda$に関して以下の形の事前分布が共役になります：
$\pi(\lambda) \propto \lambda^{\alpha-1} e^{-\beta \lambda}$
これはガンマ分布 $\text{Gamma}(\alpha, \beta)$ の確率密度関数と一致します：
$\pi(\lambda) = \frac{\beta^\alpha}{\Gamma(\alpha)} \lambda^{\alpha-1} e^{-\beta \lambda}$
なぜガンマ分布が共役なのか
指数分布の尤度関数とガンマ事前分布の積を計算すると：
$\pi(\lambda|\mathbf{x}) \propto L(\lambda|\mathbf{x}) \cdot \pi(\lambda)$
$\propto \lambda^n e^{-\lambda \sum x_i} \cdot \lambda^{\alpha-1} e^{-\beta \lambda}$
$= \lambda^{n+\alpha-1} e^{-\lambda(\sum x_i + \beta)}$
これも再びガンマ分布の形になります！
Step 3: 具体的データへの適用
与えられた条件：
- 観測値：$x_1 = 0.5, x_2 = 1.2, x_3 = 0.8$
- 事前分布：$\text{Gamma}(\alpha = 2, \beta = 1)$
- サンプルサイズ：$n = 3$
基本統計量の計算：
$\sum_{i=1}^3 x_i = 0.5 + 1.2 + 0.8 = 2.5$
Step 4: 事後分布パラメータの計算
ガンマ-指数共役性により、事後分布は：
$\lambda|\mathbf{x} \sim \text{Gamma}(\alpha + n, \beta + \sum_{i=1}^n x_i)$
事後パラメータ：
$\alpha_{\text{post}} = \alpha + n = 2 + 3 = 5$
$\beta_{\text{post}} = \beta + \sum_{i=1}^n x_i = 1 + 2.5 = 3.5$
したがって、事後分布は：
$\lambda|\mathbf{x} \sim \text{Gamma}(5, 3.5)$
正答：選択肢A: ガンマ分布 $\text{Gamma}(5, 3.5)$
共役事前分布の実用的意義
| 利点 | 説明 | 例 |
|---|
| 計算効率 | 解析的に事後分布が求まる | MCMC不要 |
| 直感的理解 | パラメータ更新が明確 | $\alpha \rightarrow \alpha + n$ |
| 逐次更新 | 新データで容易に更新 | オンライン学習 |
| 事前情報統合 | 専門知識の定量化 | ハイパーパラメータ設定 |
Step 5: ハイパーパラメータの解釈
ガンマ分布 $\text{Gamma}(\alpha, \beta)$ のパラメータ解釈：
- $\alpha$：「擬似観測回数」（事前の確信度）
- $\beta$：「擬似観測値の合計」（事前の情報量）
事前分布 $\text{Gamma}(2, 1)$ の意味：
- 2回の事前観測に相当する確信度
- 事前観測値の合計が1に相当する情報
- 事前平均: $E[\lambda] = \alpha/\beta = 2/1 = 2$
Step 6: 事後統計量の計算
事後分布 $\text{Gamma}(5, 3.5)$ の統計量：
$E[\lambda|\mathbf{x}] = \frac{\alpha_{\text{post}}}{\beta_{\text{post}}} = \frac{5}{3.5} ≈ 1.429$
$\text{Var}[\lambda|\mathbf{x}] = \frac{\alpha_{\text{post}}}{\beta_{\text{post}}^2} = \frac{5}{3.5^2} ≈ 0.408$
最尤推定値との比較：
$\hat{\lambda}_{\text{MLE}} = \frac{n}{\sum x_i} = \frac{3}{2.5} = 1.2$
主要な共役分布ペア
| 尤度 | パラメータ | 共役事前分布 | 事後分布 |
|---|
| ベルヌーイ/二項 | $p$ | $\text{Beta}(\alpha, \beta)$ | $\text{Beta}(\alpha+s, \beta+f)$ |
| ポアソン | $\lambda$ | $\text{Gamma}(\alpha, \beta)$ | $\text{Gamma}(\alpha+\sum x_i, \beta+n)$ |
| 指数分布 | $\lambda$ | $\text{Gamma}(\alpha, \beta)$ | $\text{Gamma}(\alpha+n, \beta+\sum x_i)$ |
| 正規分布（分散既知） | $\mu$ | $\text{Normal}(\mu_0, \tau_0^2)$ | $\text{Normal}(\mu_n, \tau_n^2)$ |
Step 7: 非共役事前分布との比較
非共役事前分布（例：正規分布）を使った場合：
- 数値積分が必要：事後分布の解析解なし
- MCMC等が必要：サンプリングベースの近似
- 計算コスト増：実時間での推論が困難
- 柔軟性とのトレードオフ：現実的事前信念vs計算便利性