この問題では、統計的回帰分析におけるF検定による変数選択とAICによる変数選択の本質的な違いと相互関係について理解を深めます。両手法は異なる哲学と目的を持ちながら、分析で併用されることが多い手法です。
F検定による変数選択の基礎
Step 1: F検定の理論的背景
仮説検定の枠組み：
$H_0: \beta_j = 0 \quad \text{vs} \quad H_1: \beta_j \neq 0$
F検定は、回帰係数が統計的に有意に0と異なるかを評価する仮説検定です。
F統計量の定義：
$F = \frac{(\text{RSS}_{reduced} - \text{RSS}_{full}) / (p - q)}{\text{RSS}_{full} / (n - p - 1)}$
ここで：
- $\text{RSS}_{reduced}$：制約モデルの残差平方和
- $\text{RSS}_{full}$：完全モデルの残差平方和
- $p$：完全モデルのパラメータ数
- $q$：制約モデルのパラメータ数
- $n$：サンプルサイズ
F検定による変数選択手法：
- 前進選択（Forward Selection）：変数を一つずつ追加
- 後退選択（Backward Selection）：変数を一つずつ除去
- ステップワイズ法（Stepwise）：前進と後退を組み合わせ
F検定による変数選択の特徴
- 統計的有意性：p値に基づく客観的判断
- Type I/II error制御：誤り確率の明示的管理
- 段階的手順：一度に一つの変数を評価
- 閾値設定：有意水準（通常α=0.05）による基準
Step 2: AICによる変数選択の理論
情報理論的アプローチ：
$\text{AIC} = -2\ln L + 2k$
AICは予測性能に基づいてモデルを評価します。
AICによる変数選択の特徴：
- 全体最適化：全ての変数の組み合わせを考慮可能
- 予測重視：未来データへの適合度を重視
- 連続的評価：p値のような閾値に依存しない
- 相対比較：複数モデル間の相対的評価
両手法の本質的な違い
Step 3: 哲学的・数学的差異
1. 目的の違い：
| 手法 | 主目的 | 評価基準 | 理論的基盤 |
|---|
| F検定 | 統計的有意性の検証 | p値 < α | 仮説検定理論 |
| AIC | 予測性能の最大化 | AIC最小化 | 情報理論 |
2. 数学的関係：
F検定の棄却域とAIC差には以下の関係があります：
$F > F_{\alpha, 1, n-p-1} \iff \Delta \text{AIC} > 2F_{\alpha, 1, n-p-1}$
ここで、$\Delta \text{AIC}$は変数を除いたモデルとの AIC 差です。
Step 4: 実際の計算例による比較
設定：
- サンプルサイズ：$n = 100$
- 回帰係数：$\beta_j = 0.1$
- 標準誤差：$SE(\beta_j) = 0.06$
- 有意水準：$\alpha = 0.05$
F検定による評価：
$t = \frac{\beta_j}{SE(\beta_j)} = \frac{0.1}{0.06} = 1.67$
$F = t^2 = 2.78$
臨界値：$F_{0.05, 1, 97} \approx 3.94$
結論：$F = 2.78 < 3.94$ なので変数は有意でない
AICによる評価：
変数を含むモデル：$\text{AIC}_1 = 245.2$
変数を除くモデル：$\text{AIC}_0 = 246.8$
結論：$\text{AIC}_1 < \text{AIC}_0$ なので変数を含む方が良い
矛盾する結果の解釈：
- F検定：統計的に有意でないため除外
- AIC：予測性能向上のため保持
- これは両手法の異なる判断基準を反映
使い分けと統合
Step 5: 手法選択の指針
F検定を選ぶべき場面：
- 因果推論：変数の影響が統計的に有意かを確認したい
- 理論検証：特定の仮説をテストしたい
- 解釈重視：結果の統計的意味を重視
- 少数の重要変数：事前に候補が絞られている
AICを選ぶべき場面：
- 予測モデリング：未来データの予測精度を重視
- 探索的分析：多数の候補変数から最適組み合わせを探す
- 機械学習連携：予測性能が主目的
- 実用性重視：統計的有意性より実務的価値を重視
Step 6: ハイブリッドアプローチ
段階的統合手法：
- Phase 1：AICで候補モデルを特定
- Phase 2：F検定で個別変数の有意性を確認
- Phase 3：専門知識と併せて最終判断
実装例：
| ステップ | 手法 | 判断基準 | 目的 |
|---|
| 1 | AIC選択 | AIC最小 | 最適予測モデル特定 |
| 2 | F検定 | p < 0.05 | 有意性確認 |
| 3 | 専門判断 | 実用性 | 最終モデル決定 |
高度な変数選択手法
Step 7: 現代的なアプローチ
1. 正則化回帰との関係：
Lasso回帰：
$\min_{\beta} \|y - X\beta\|_2^2 + \lambda\|\beta\|_1$
Lassoの解パスとAICの関係：
- 各$\lambda$値でAICを計算
- 最小AICを与える$\lambda$を選択
- 自動的な変数選択が実現
2. 交差検証との統合：
- F検定 + CV：有意な変数のみで交差検証
- AIC + CV：AIC選択モデルの汎化性能検証
- Nested CV：選択手法自体の性能評価
Step 8: 統計理論の発展
多重比較問題への対応：
$\alpha_{adjusted} = \frac{\alpha}{m} \quad \text{(Bonferroni correction)}$
ここで、$m$は検定回数です。
False Discovery Rate (FDR)：
- Benjamini-Hochberg法：FDR制御
- AICとの関係：情報量規準による自動的FDR制御
- 実用的利点：多変数環境での頑健な選択
ベイズ的統合：
$p(M_j|\text{data}) \propto \exp\left(-\frac{\text{AIC}_j}{2}\right)$
AICをベイズ的事後確率に変換し、F検定と統合する手法が開発されています。