この問題では、AICとBICの理論的基礎の本質的な違いについて理解を深めます。両者は表面的には似ていますが、導出の根拠と適用される理論的枠組みが根本的に異なります。
AICの理論的導出：カルバック・ライブラー情報量の観点
Step 1: カルバック・ライブラー情報量の定義
KL情報量の数学的定義：
$$D_{KL}(g \\| f) = \\int g(x) \\log \\frac{g(x)}{f(x)} dx$$
ここで：
- $g(x)$：真の確率密度関数
- $f(x)$：モデルの確率密度関数
KL情報量の直感的意味：
- 真の分布$g$とモデル分布$f$の「距離」の測度
- $D_{KL}(g \\| f) ≥ 0$で、等号は$g = f$のときのみ成立
- 情報理論における「余分な符号化長」を表現
Step 2: 期待対数尤度との関係
KL情報量の変形：
$$D_{KL}(g \\| f) = \\int g(x) \\log g(x) dx - \\int g(x) \\log f(x) dx$$
$$= H(g) - E_g[\\log f(x)]$$
ここで：
- $H(g)$：真の分布のエントロピー（定数）
- $E_g[\\log f(x)]$：期待対数尤度
最適化問題への変換：
$$\\min_{f} D_{KL}(g \\| f) \\equiv \\max_{f} E_g[\\log f(x)]$$
KL情報量最小化は期待対数尤度最大化と等価です。
Step 3: 期待平均対数尤度の推定
期待平均対数尤度の定義：
$$\\ell(\\theta) = E_g[\\log f(x; \\theta)]$$
最大尤度推定量での評価：
$$\\hat{\\ell}(\\hat{\\theta}) = \\frac{1}{n} \\sum_{i=1}^n \\log f(x_i; \\hat{\\theta})$$
しかし、$\\hat{\\ell}(\\hat{\\theta})$は$\\ell(\\hat{\\theta})$の上方バイアス推定量です。
AICの考え
AICは$\\hat{\\ell}(\\hat{\\theta})$から適切なバイアス補正項を差し引くことで、期待平均対数尤度の漸近的不偏推定量を構成します。
AICの厳密な導出
Step 4: 大標本理論の適用
漸近展開の出発点：
$$E_g[\\log f(X; \\hat{\\theta})] = E_g[\\log f(X; \\theta_0)] + E_g[\\nabla \\log f(X; \\theta_0)]^T (\\hat{\\theta} - \\theta_0)$$
$$+ \\frac{1}{2} E_g[(\\hat{\\theta} - \\theta_0)^T \\nabla^2 \\log f(X; \\theta_0) (\\hat{\\theta} - \\theta_0)] + O_p(n^{-1})$$
ここで、$\\theta_0$はKL情報量を最小化する真のパラメータです。
フィッシャー情報行列の導入：
$$I(\\theta) = -E_g[\\nabla^2 \\log f(X; \\theta)]$$
最大尤度推定量の漸近正規性：
$$\\sqrt{n}(\\hat{\\theta} - \\theta_0) \\xrightarrow{d} N(0, I(\\theta_0)^{-1})$$
Step 5: バイアス補正項の導出
期待値の計算：
$$E_g[\\log f(X; \\hat{\\theta})] \\approx E_g[\\log f(X; \\theta_0)] - \\frac{k}{2n} + O(n^{-1})$$
ここで、$k$はパラメータ数です。
経験的対数尤度の期待値：
$$E_g\\left[\\frac{1}{n} \\sum_{i=1}^n \\log f(X_i; \\hat{\\theta})\\right] \\approx E_g[\\log f(X; \\theta_0)] + \\frac{k}{n} + O(n^{-1})$$
バイアス補正：
$$E_g[\\log f(X; \\hat{\\theta})] \\approx \\frac{1}{n} \\sum_{i=1}^n \\log f(X_i; \\hat{\\theta}) - \\frac{k}{n}$$
Step 6: AICの最終形
AICの定義：
$$AIC = -2 \\sum_{i=1}^n \\log f(x_i; \\hat{\\theta}) + 2k$$
期待平均対数尤度推定量として：
$$\\hat{\\ell}_{AIC} = \\frac{1}{n} \\sum_{i=1}^n \\log f(x_i; \\hat{\\theta}) - \\frac{k}{n}$$
これが期待平均対数尤度の漸近的不偏推定量です。
BICの理論的基礎：ベイズ理論の観点
Step 7: BICの導出原理
事後確率の最大化：
$$P(M_j | \\text{data}) = \\frac{P(\\text{data} | M_j) P(M_j)}{P(\\text{data})}$$
ここで、$M_j$は$j$番目のモデルです。
周辺尤度の計算：
$$P(\\text{data} | M_j) = \\int P(\\text{data} | \\theta_j, M_j) P(\\theta_j | M_j) d\\theta_j$$
ラプラス近似の適用：
$$\\log P(\\text{data} | M_j) \\approx \\log P(\\text{data} | \\hat{\\theta}_j, M_j) - \\frac{k_j}{2} \\log n + O(1)$$
Step 8: BICの最終形
BICの定義：
$$BIC = -2 \\log P(\\text{data} | \\hat{\\theta}_j, M_j) + k_j \\log n$$
理論的背景：
- ベイズ理論：事後確率の最大化
- ラプラス近似：積分の近似計算
- 一様事前分布：パラメータの事前分布の仮定
AICとBICの根本的違い
Step 9: 理論的枠組みの比較
| 観点 | AIC | BIC |
|---|
| 理論的基礎 | 情報理論・KL情報量 | ベイズ理論・事後確率 |
| 最適化目標 | 期待対数尤度最大化 | 事後確率最大化 |
| 使用理論 | 大標本理論・漸近展開 | ラプラス近似・ベイズ積分 |
| モデル想定 | 真のモデルは候補外 | 真のモデルは候補内 |
| ペナルティ | $2k$（定数） | $k \\log n$（サンプル依存） |