回帰分析

線形回帰、一般化線形モデル、ロジスティック回帰、モデル選択など統計検定準1級レベルの回帰分析理論

モデル選択基準レベル2

あるモデルの対数尤度が$\log L = -50$、パラメータ数が$k = 3$のとき、AIC（赤池情報量規準）の値を求めよ。

解説

解答と解説を表示

Step 1: AICの理論的背景

AIC（Akaike Information Criterion）は赤池弘次により提案された情報量規準で、以下の理論に基づく：

$\text{AIC} = -2\log L + 2k$

ここで：

Step 2: AICの情報理論的解釈

AICは以下の2つの項の和：

AICはKullback-Leibler情報量の期待値の推定量：

$\text{KL}(f, g) = \int f(x) \log\frac{f(x)}{g(x)} dx$

Step 3: 具体的計算

与えられた値：

AICの計算：

$\begin{align}\text{AIC} &= -2\log L + 2k\\&= -2 \times (-50) + 2 \times 3\\&= 100 + 6\\&= 106\end{align}$

Step 4: モデル選択の実践

Step 5: AICの限界と注意点

問題検索