情報量規準の理論的基礎
情報量規準は、モデルの適合度と複雑さのトレードオフを定量化し、最適なモデルを選択するための指標です。
AICとBICの数学的定義
Step 1: AIC(赤池情報量規準)
$AIC = -2\ell(\hat{\theta}) + 2k$
ここで、$\ell(\hat{\theta})$は最大対数尤度、$k$はパラメータ数です。
Step 2: BIC(ベイズ情報量規準)
$BIC = -2\ell(\hat{\theta}) + k\log n$
ここで、$n$は標本サイズです。
ペナルティ項の比較分析
Step 3: ペナルティ項の標本サイズ依存性
| 情報量規準 | ペナルティ項 | 標本サイズ依存性 |
|---|
| AIC | $2k$ | なし(定数) |
| BIC | $k\log n$ | あり(対数的増加) |
Step 4: 臨界点の計算
$k\log n > 2k$となる条件:
$\log n > 2 \Leftrightarrow n > e^2 \approx 7.39$
したがって、$n \geq 8$のとき、BICのペナルティがAICより大きくなります。
モデル選択への影響
Step 5: 情報量規準とモデル複雑度
情報量規準が小さいほど良いモデルとされるため:
- AIC:固定ペナルティにより、相対的に複雑なモデルを許容
- BIC:標本サイズ増加とともにペナルティが増大し、単純なモデルを選好
Step 6: 漸近的性質の比較
| 性質 | AIC | BIC |
|---|
| 理論的根拠 | Kullback-Leibler情報量 | ベイズ事後確率 |
| 漸近的性質 | 予測誤差最小化 | 真のモデルの一致選択 |
| 過適合傾向 | やや過適合気味 | 適合不足気味 |
| 適用場面 | 予測重視 | 解釈重視 |
選択方針
Step 7: 標本サイズによる使い分け
$\begin{cases}n \leq 40: & \text{AICc(修正AIC)を推奨} \\40 < n \leq 150: & \text{AICとBICの比較検討} \\n > 150: & \text{BICが真のモデル選択に有利}\end{cases}$
Step 8: 研究目的による選択
| 研究目的 | 推奨規準 | 理由 |
|---|
| 予測精度重視 | AIC系 | 予測誤差最小化 |
| 因果推論 | BIC系 | 真の構造発見 |
| 探索的分析 | AIC | 候補モデルの幅広い検討 |
| 確認的分析 | BIC | パーシモニーの原則 |
したがって、「標本サイズが大きいとき、BICはAICより単純なモデルを選びやすい」が正しい記述です。