解答と解説を表示
<h4>情報量規準によるモデル選択：AICの理論と計算</h4><div class='key-point'><h4>情報量規準の基本概念</h4></div><p class='step'><strong>Step 1: AICの理論的背景</strong></p><p>AIC（Akaike Information Criterion）は赤池弘次により提案された情報量規準で、以下の理論に基づく：</p><div class='formula'>$\text{AIC} = -2\log L + 2k$
ここで：
- $\log L$：最大対数尤度
- $k$：推定パラメータ数
Step 2: AICの情報理論的解釈
AICは以下の2つの項の和：
AICの構成
- $-2\log L$：データへの適合度（小さいほど良い適合）
- $2k$：モデルの複雑さに対するペナルティ
AICはKullback-Leibler情報量の期待値の推定量：
$\text{KL}(f, g) = \int f(x) \log\frac{f(x)}{g(x)} dx$
Step 3: 具体的計算
与えられた値：
- 対数尤度：$\log L = -50$
- パラメータ数：$k = 3$
AICの計算：
$\begin{align}\text{AIC} &= -2\log L + 2k\\&= -2 \times (-50) + 2 \times 3\\&= 100 + 6\\&= 106\end{align}$
他の情報量規準との比較
| 規準 | 公式 | 特徴 |
|---|
| AIC | $-2\log L + 2k$ | 予測精度重視 |
| BIC | $-2\log L + k\log n$ | 真のモデル選択 |
| AICc | $\text{AIC} + \frac{2k(k+1)}{n-k-1}$ | 小標本補正 |
Step 4: モデル選択の実践
- AICの比較：複数モデル間でAIC値を比較
- 選択基準：AIC値が最小のモデルを選択
- 差の解釈：$\Delta\text{AIC} > 2$で有意な差</li></ul><p class='step'><strong>Step 5: AICの限界と注意点</strong></p><ul><li><strong>漸近理論</strong>：大標本での近似</li><li><strong>ネストモデル</strong>：階層的モデルでの適用</li><li><strong>予測重視</strong>：説明よりも予測精度を重視</li></ul>