モデル選択・評価

AIC、BIC、交差検証、ROC曲線、混合行列など、統計モデルの選択と評価に関する手法

BICとAICの比較 レベル1

ベイズ情報量規準(BIC)とAICの違いについて、正しい記述はどれか。

解説
解答と解説を表示
<p>この問題では、AICと並んでモデル選択規準である<strong>ベイズ情報量規準(BIC: Bayesian Information Criterion)</strong>とAICの違いについて理解を深めます。</p><h4>BIC(ベイズ情報量規準)とは?</h4><p>BICは、<strong>ベイズ統計学の観点</strong>からモデル選択を行う指標です。AICと同様にモデルの適合度と複雑さのバランスを評価しますが、ペナルティ項の設定が異なります。</p><h4>BICとAICの定義式比較</h4><p><strong>BICの定義:</strong></p><div class='formula'>$\text{BIC} = -2 \ln L + k \ln n
lt;/div><p><strong>AICの定義:</strong></p><div class='formula'>$\text{AIC} = -2 \ln L + 2k
lt;/div><p>ここで:</p><ul><li>$L$:最大尤度</li><li>$k$:パラメータ数</li><li>$n$:サンプルサイズ</li></ul><p class='step'>1. ペナルティ項の比較</p><p><strong>BICのペナルティ項:</strong> $k \ln n
lt;/p><p><strong>AICのペナルティ項:</strong> $2k
lt;/p><p>点は、$n > 7$のとき $\ln n > 2$ となることです。つまり、サンプルサイズが8以上の場合、BICの方がAICよりも<strong>大きなペナルティ</strong>をパラメータ数に課します。</p><p class='step'>2. サンプルサイズの影響</p><p>BICの特徴的な点は、サンプルサイズ $n$ がペナルティ項に含まれることです:</p><ul><li>$n$ が大きくなるほど、$\ln n$ も大きくなる</li><li>大きなデータセットほど、より単純なモデルを選択する傾向</li><li>AICはサンプルサイズに依存しない固定ペナルティ</li></ul><div class='key-point'><div class='key-point-title'>BICとAICの特徴比較</div><table style='width:100%; border-collapse: collapse; margin: 1em 0;'><tr style='background-color: #f5f5f5;'><th style='border: 1px solid #ddd; padding: 8px;'>特徴</th><th style='border: 1px solid #ddd; padding: 8px;'>BIC</th><th style='border: 1px solid #ddd; padding: 8px;'>AIC</th></tr><tr><td style='border: 1px solid #ddd; padding: 8px;'><strong>ペナルティの強さ</strong></td><td style='border: 1px solid #ddd; padding: 8px;'>より強い(n>7の場合)</td><td style='border: 1px solid #ddd; padding: 8px;'>より弱い</td></tr><tr><td style='border: 1px solid #ddd; padding: 8px;'><strong>モデル選択傾向</strong></td><td style='border: 1px solid #ddd; padding: 8px;'>より単純なモデル</td><td style='border: 1px solid #ddd; padding: 8px;'>より複雑なモデル</td></tr><tr><td style='border: 1px solid #ddd; padding: 8px;'><strong>理論的背景</strong></td><td style='border: 1px solid #ddd; padding: 8px;'>ベイズ統計学</td><td style='border: 1px solid #ddd; padding: 8px;'>情報理論</td></tr><tr><td style='border: 1px solid #ddd; padding: 8px;'><strong>目的</strong></td><td style='border: 1px solid #ddd; padding: 8px;'>真のモデルの特定</td><td style='border: 1px solid #ddd; padding: 8px;'>予測精度の最大化</td></tr></table></div><h4>具体的な数値例</h4><p>サンプルサイズによるペナルティの違いを見てみましょう:</p><ul><li><strong>n = 10の場合:</strong> $\ln(10) \approx 2.30 > 2$ → BICの方がペナルティ大</li><li><strong>n = 100の場合:</strong> $\ln(100) \approx 4.61 > 2$ → BICの方がペナルティ大</li><li><strong>n = 1000の場合:</strong> $\ln(1000) \approx 6.91 > 2$ → BICの方がペナルティ大</li></ul><h4>使い分けの指針</h4><p><strong>BICを選ぶべき場合:</strong></p><ul><li>真のモデル構造を特定したい場合</li><li>解釈しやすい単純なモデルを求める場合</li><li>大きなサンプルサイズを持つ場合</li></ul><p><strong>AICを選ぶべき場合:</strong></p><ul><li>予測精度を最重視する場合</li><li>小さなサンプルサイズの場合</li><li>モデルの複雑さをある程度許容できる場合</li></ul><p class='note'><strong>実践的な注意点:</strong><br>実際の分析では、AICとBICの両方を計算し、結果を比較検討することが推奨されます。両者が同じモデルを選択する場合は信頼性が高く、異なるモデルを選択する場合は、分析の目的に応じて適切な規準を選択する必要があります。</p>
問題 1/10
カテゴリ一覧に戻る