リッジ回帰の主な目的と特徴を理解しているかを問う問題です。
リッジ回帰は、多重共線性の影響を緩和し、より安定した回帰係数の推定を可能にする手法です。
1. 多重共線性とその問題点
重回帰分析において、説明変数間に強い相関関係がある状態を多重共線性といいます。多重共線性が存在すると、最小二乗法による回帰係数の推定値が不安定になったり、標準誤差が非常に大きくなったりする問題が生じます。これにより、個々の説明変数の影響を正しく評価することが困難になります。
2. リッジ回帰の仕組み
リッジ回帰は、この多重共線性の問題を解決するための一つの手法です。通常の最小二乗法では残差平方和 $\sum (y_i - \hat{y}_i)^2$ を最小化しますが、リッジ回帰ではこれに加えて、回帰係数の大きさに対するペナルティ項（L2ノルム）を導入します。
目的関数 = $\sum_{i=1}^{n} (y_i - \beta_0 - \sum_{j=1}^{p} \beta_j x_{ij})^2 + \alpha \sum_{j=1}^{p} \beta_j^2$
ここで、$\alpha$ は正則化パラメータ（またはリッジパラメータ）と呼ばれ、ペナルティの強さを調整します。$\alpha$ が大きいほど、回帰係数は0に近づきます（縮小推定）。
3. リッジ回帰の効果
- 係数の安定化：多重共線性により不安定だった回帰係数の推定値を安定させます。
- 過学習の抑制：係数の大きさを抑えることで、モデルが訓練データに過剰に適合する（過学習）のを防ぐ効果も期待できます。
- 変数選択は行わない：LASSO回帰とは異なり、リッジ回帰では係数が0になることは稀で、変数選択の効果は限定的です。
4. 他の選択肢の検討
- 「説明変数が応答変数に対して非線形の関係を持つ場合」：多項式回帰やスプライン回帰、一般化加法モデルなどが適しています。
- 「誤差項が正規分布に従わない場合」：ロバスト回帰や、応答変数の変換、一般化線形モデルの利用が考えられます。
- 「外れ値がモデルに大きな影響を与える場合」：ロバスト回帰や外れ値の除去・調整が検討されます。
- 「応答変数がカテゴリカルデータである場合」：ロジスティック回帰やサポートベクターマシンなどが用いられます。
関連する手法：LASSO回帰
LASSO回帰もリッジ回帰と同様に正則化を用いた手法ですが、ペナルティ項としてL1ノルム（係数の絶対値の和）を用います。LASSO回帰は一部の係数を正確に0にすることができ、変数選択の効果も持ちます。
したがって、リッジ回帰が主に用いられるのは、説明変数間に強い相関（多重共線性）が存在する場合です。