モデル選択・評価

この問題では、AICと並んでモデル選択規準であるベイズ情報量規準（BIC: Bayesian Information Criterion）とAICの違いについて理解を深めます。

BIC（ベイズ情報量規準）とは？

BICは、ベイズ統計学の観点からモデル選択を行う指標です。AICと同様にモデルの適合度と複雑さのバランスを評価しますが、ペナルティ項の設定が異なります。

BICとAICの定義式比較

BICの定義：

AICの定義：

ここで：

• $L$：最大尤度
• $k$：パラメータ数
• $n$：サンプルサイズ

1. ペナルティ項の比較

BICのペナルティ項： $k \ln n$

AICのペナルティ項： $2k$

ポイントは、$n > e^2 \approx 7.39$ のとき $\ln n > 2$ となることです。標本数が整数なら8以上の場合、BICの方がAICよりも大きなペナルティをパラメータ数に課します。

2. サンプルサイズの影響

BICの特徴的な点は、サンプルサイズ $n$ がペナルティ項に含まれることです：

• $n$ が大きくなるほど、$\ln n$ も大きくなる
• 大きなデータセットほど、より単純なモデルを選択する傾向
• AICはサンプルサイズに依存しない固定ペナルティ

具体的な数値例

サンプルサイズによるペナルティの違いを見てみましょう：

• n = 10の場合： $\ln(10) \approx 2.30 > 2$ → BICの方がペナルティ大
• n = 100の場合： $\ln(100) \approx 4.61 > 2$ → BICの方がペナルティ大
• n = 1000の場合： $\ln(1000) \approx 6.91 > 2$ → BICの方がペナルティ大

使い分けの指針

BICを選ぶべき場合：

• 真のモデル構造を特定したい場合
• 解釈しやすい単純なモデルを求める場合

AICを選ぶべき場合：

• 予測精度を最重視する場合
• 標本が小さいとき（目安は $n/k < 40$）は、補正版のAICcを使う
• モデルの複雑さをある程度許容できる場合

実践的な注意点：
実際の分析では、AICとBICの両方を計算し、結果を比較検討することが推奨されます。両者が同じモデルを選択する場合は信頼性が高く、異なるモデルを選択する場合は、分析の目的に応じて適切な規準を選択する必要があります。