事象と確率、確率分布の特性値、変数変換、大数の法則、中心極限定理など統計検定準1級レベルの確率論を学習します。
2成分ガウス混合分布において、EMアルゴリズムの各ステップに関する説明として正しいものはどれか。
この問題では、EMアルゴリズム（Expectation-Maximization Algorithm）の基本原理と計算過程について理解を深めます。EMアルゴリズムは、観測されない潜在変数を含む統計モデルにおいて、最尤推定量を反復的に求める強力な手法です。混合分布、クラスタリング、異常検知など、現代の機械学習・統計学において幅広く応用されています。
EMアルゴリズムは、不完全データの最尤推定問題を解決するために、デンプスター、レアード、ルービン（1977）によって提案されました。このアルゴリズムの核心は、観測データの対数尤度を潜在変数に関する期待値として表現し、これを反復的に最大化することにあります。
| 段階 | 数学的操作 | 統計的意味 |
|---|---|---|
| E-step | $\\gamma_{ik} = \\frac{\\pi_k f(x_i|\\theta_k)}{\\sum_{j=1}^K \\pi_j f(x_i|\\theta_j)}$ | 潜在変数の事後確率（責任度）計算 |
| M-step | $\\theta^{(t+1)} = \\arg\\max_{\\theta} Q(\\theta|\\theta^{(t)})$ | パラメータの最尤推定値更新 |
Step 1: 各選択肢の詳細検証
選択肢①：E-stepでの決定的分類について
この選択肢は誤りです。E-stepでは各データポイントを決定的に分類するのではなく、各成分への所属確率（責任度）を計算します。
この確率的アプローチにより、データポイントが複数の成分に「部分的に」属することが可能になります。これがhard clustering（K-means）とsoft clustering（混合モデル）の根本的な違いです。
Step 2: M-stepでのパラメータ更新
選択肢②：M-stepでの責任度の扱い
この選択肢は正しいです。M-stepでは、E-stepで計算された責任度$\\gamma_{ik}$を固定値として扱い、これを重みとして使用してパラメータを更新します。
| パラメータ | 更新公式 | 責任度の役割 |
|---|---|---|
| 混合係数 | $\\pi_k^{(t+1)} = \\frac{1}{n}\\sum_{i=1}^n \\gamma_{ik}$ | 各成分の有効サンプル数 |
| 平均 | $\\mu_k^{(t+1)} = \\frac{\\sum_{i=1}^n \\gamma_{ik} x_i}{\\sum_{i=1}^n \\gamma_{ik}}$ | 重み付き平均の重み |
| 分散 | $\\sigma_k^{2(t+1)} = \\frac{\\sum_{i=1}^n \\gamma_{ik} (x_i - \\mu_k^{(t+1)})^2}{\\sum_{i=1}^n \\gamma_{ik}}$ | 重み付き分散の重み |
Step 3: 対数尤度の単調性
選択肢③：対数尤度の変化について
この選択肢は誤りです。EMアルゴリズムでは、対数尤度は単調増加することが理論的に保証されています。
この性質はJensen不等式に基づいており、EMアルゴリズムの収束性の理論的基盤となっています。
EMアルゴリズムでは、以下の不等式が成立します：
M-stepで$Q(\\theta|\\theta^{(t)})$を最大化することにより、$\\ell(\\theta^{(t+1)}) \\geq \\ell(\\theta^{(t)})$が成立します。
Step 4: 責任度の確率的解釈
選択肢④：責任度の解釈
この選択肢は正しいです。責任度$\\gamma_{ik}$は、データポイント$x_i$が成分$k$に属する事後確率として解釈されます。
ここで、$z_i$はデータポイント$i$の潜在変数（どの成分に属するかを示す）です。
Step 5: 責任度の数学的性質
責任度は以下の重要な性質を満たします：
Step 6: 実用的応用における意義
この確率的アプローチにより、以下の利点が得られます：
統計的洞察：
EMアルゴリズムの美しさは、複雑な最尤推定問題を「期待値計算」と「最大化」という理解しやすい2つのステップに分解することにあります。この分解により、解析的に扱いにくい問題でも反復的に解を求めることが可能になります。