ベイズ推定における共役事前分布の性質を理解する問題です。
共役事前分布とは
事前分布と事後分布が同じ分布族に属するとき、その事前分布を共役事前分布と呼びます。
1. 二項分布の尤度関数
観測値$x$($n$回中$x$回成功)に対する尤度:
$L(p|x) = \binom{n}{x} p^x (1-p)^{n-x}$
2. ベータ分布の事前分布
$p \sim \text{Beta}(\alpha, \beta)$の確率密度関数:
$\pi(p) = \frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)} p^{\alpha-1} (1-p)^{\beta-1}$
3. ベイズの定理による事後分布
事後分布は尤度と事前分布の積に比例:
$\begin{align}\pi(p|x) &\propto L(p|x) \cdot \pi(p) \\&\propto p^x (1-p)^{n-x} \cdot p^{\alpha-1} (1-p)^{\beta-1} \\&= p^{x+\alpha-1} (1-p)^{n-x+\beta-1}\end{align}$
4. 事後分布の同定
上式はベータ分布$\text{Beta}(\alpha + x, \beta + n - x)$の核(kernel)と一致します。
共役性の利点
- 事後分布が解析的に求まる
- 逐次更新が可能
- 計算が簡単
- 事前情報の解釈が直感的
$\alpha$は事前の「成功回数」、$\beta$は事前の「失敗回数」と解釈できます。
したがって、事後分布は$\text{Beta}(\alpha + x, \beta + n - x)$です。