ベイズの定理、事前分布、事後分布、MCMC法、階層ベイズモデルなど統計検定準1級レベルのベイズ統計理論を学習します。
指数分布$Exp(λ)$のパラメータλに対して共役事前分布を設定したい。指数分布の確率密度関数$f(x|λ) = λe^{-λx}$について、どの分布族が共役事前分布となるか。また、観測値$x₁=0.5, x₂=1.2, x₃=0.8$に対してハイパーパラメータ$α=2, β=1$の共役事前分布を用いた場合、事後分布のパラメータはいくらか。
共役事前分布は、事後分布が事前分布と同じ分布族になる特別な事前分布で、計算の簡略化と直感的理解に重要な役割を果たします。
尤度関数と事前分布の積が、事前分布と同じ関数形になる場合、その事前分布を共役事前分布と呼びます。
Step 1: 指数分布の尤度関数分析
指数分布の確率密度関数：
n個の独立観測値 $x_1, x_2, \\ldots, x_n$ に対する尤度関数：
対数尤度：
Step 2: 共役事前分布の導出
尤度関数の形から、$\\lambda$に関して以下の形の事前分布が共役になります：
これはガンマ分布 $\\text{Gamma}(\\alpha, \\beta)$ の確率密度関数と一致します：
指数分布の尤度関数とガンマ事前分布の積を計算すると：
これも再びガンマ分布の形になります！
Step 3: 具体的データへの適用
与えられた条件：
基本統計量の計算：
Step 4: 事後分布パラメータの計算
ガンマ-指数共役性により、事後分布は：
事後パラメータ：
したがって、事後分布は：
正答：選択肢A: ガンマ分布 $\\text{Gamma}(5, 3.5)$
| 利点 | 説明 | 例 |
|---|---|---|
| 計算効率 | 解析的に事後分布が求まる | MCMC不要 |
| 直感的理解 | パラメータ更新が明確 | $\\alpha \\rightarrow \\alpha + n$ |
| 逐次更新 | 新データで容易に更新 | オンライン学習 |
| 事前情報統合 | 専門知識の定量化 | ハイパーパラメータ設定 |
Step 5: ハイパーパラメータの解釈
ガンマ分布 $\\text{Gamma}(\\alpha, \\beta)$ のパラメータ解釈：
事前分布 $\\text{Gamma}(2, 1)$ の意味：
Step 6: 事後統計量の計算
事後分布 $\\text{Gamma}(5, 3.5)$ の統計量：
最尤推定値との比較：
| 尤度 | パラメータ | 共役事前分布 | 事後分布 |
|---|---|---|---|
| ベルヌーイ/二項 | $p$ | $\\text{Beta}(\\alpha, \\beta)$ | $\\text{Beta}(\\alpha+s, \\beta+f)$ |
| ポアソン | $\\lambda$ | $\\text{Gamma}(\\alpha, \\beta)$ | $\\text{Gamma}(\\alpha+\\sum x_i, \\beta+n)$ |
| 指数分布 | $\\lambda$ | $\\text{Gamma}(\\alpha, \\beta)$ | $\\text{Gamma}(\\alpha+n, \\beta+\\sum x_i)$ |
| 正規分布（分散既知） | $\\mu$ | $\\text{Normal}(\\mu_0, \\tau_0^2)$ | $\\text{Normal}(\\mu_n, \\tau_n^2)$ |
Step 7: 非共役事前分布との比較
非共役事前分布（例：正規分布）を使った場合：