この問題では、正則化手法の根本的な違いについて理解を深めます。Ridge回帰とLasso回帰は、過学習を防ぐための代表的な正則化手法ですが、その数学的性質と実務的な効果は大きく異なります。[[memory:1942104]]
正則化の基本概念
Step 1: 正則化の必要性
過学習の問題：
- 高次元データ：特徴量数がサンプル数に比べて多い場合
- 多重共線性：説明変数間に強い相関がある場合
- ノイズの学習：モデルがデータの雑音まで学習してしまう
正則化の効果：
- 汎化性能の向上：未知データに対する予測精度の改善
- 数値安定性：計算における数値的不安定性の解消
- 解釈性の向上：特徴量の識別（特にLasso）
Step 2: 線形回帰の基本形
通常の最小二乗法：
$$\\min_{\\beta} \\sum_{i=1}^n (y_i - \\mathbf{x}_i^T \\beta)^2$$
これは残差平方和のみを最小化するため、過学習のリスクがあります。
Ridge回帰の詳細分析
Step 3: Ridge回帰の数学的定義
目的関数：
$$\\min_{\\beta} \\sum_{i=1}^n (y_i - \\mathbf{x}_i^T \\beta)^2 + \\lambda \\sum_{j=1}^p \\beta_j^2$$
ここで：
- 第1項：データ適合項（残差平方和）
- 第2項：L2正則化項（係数の二乗和）
- $\\lambda$：正則化パラメータ（$\\lambda ≥ 0$）
解析的解：
$$\\hat{\\beta}_{Ridge} = (\\mathbf{X}^T \\mathbf{X} + \\lambda \\mathbf{I})^{-1} \\mathbf{X}^T \\mathbf{y}$$
Step 4: Ridge回帰の特徴
係数の挙動：
- 係数の縮小：$\\lambda$が大きくなるにつれて係数は0に近づく
- 完全な0にならない：$\\lambda < \\infty$の場合、係数は0になることはない
- 滑らかな減少：係数は連続的に減少する
数学的性質：
- 凸最適化：一意な大域最適解が存在
- 閉形式解：解析的に解が求められる
- 回転不変性：直交変換に対して不変
Ridge回帰の効果メカニズム
L2正則化項 $\\sum_{j=1}^p \\beta_j^2$ は、各係数の二乗を制約します。これにより：
- 大きな係数にペナルティ：絶対値の大きい係数ほど強く制約される
- 均等な縮小：全ての係数が比例的に縮小される
- 多重共線性の改善：相関の高い変数群の係数を安定化
Lasso回帰の詳細分析
Step 5: Lasso回帰の数学的定義
目的関数：
$$\\min_{\\beta} \\sum_{i=1}^n (y_i - \\mathbf{x}_i^T \\beta)^2 + \\lambda \\sum_{j=1}^p |\\beta_j|$$
ここで：
- 第1項：データ適合項（残差平方和）
- 第2項：L1正則化項（係数の絶対値の和）
- $\\lambda$：正則化パラメータ（$\\lambda ≥ 0$）
解の特徴：
- 閉形式解なし：解析的解は存在しない
- 数値計算必要：座標降下法などの反復アルゴリズムが必要
- 非微分可能：$\\beta_j = 0$で微分不可能
Step 6: Lasso回帰の特徴
係数の挙動：
- スパース解：多くの係数が正確に0になる
- 特徴選択効果：重要な特徴量のみが残る
- 不連続変化：係数は不連続的に変化する
幾何学的解釈：
L1正則化の幾何学的メカニズム
L1正則化項 $\\sum_{j=1}^p |\\beta_j|$ は、係数空間においてダイヤモンド形状の制約領域を形成します。この形状により：
- 角（頂点）での解：制約領域の角で最適解が得られやすい
- 軸上の解：角は軸上にあるため、多くの係数が0になる
- 自動的特徴選択：不要な特徴量が自動的に除去される
Ridge vs Lasso：詳細比較
Step 7: 数学的差異の根本原因
制約領域の形状：
| 側面 | Ridge（L2） | Lasso（L1） |
|---|
| 制約領域 | 円形/球形 | ダイヤモンド形/正多面体 |
| 微分可能性 | すべての点で微分可能 | 軸上で微分不可能 |
| 係数の挙動 | 連続的縮小 | 不連続的変化 |
| スパース性 | なし | あり |
Step 8: 選択基準
Ridge回帰を選ぶべき場合：
- 多重共線性の問題：相関の高い変数群がある場合
- 全変数が重要：すべての特徴量に何らかの意味がある場合
- 予測精度重視：解釈性よりも予測性能を重視する場合
- 安定性重視：データの小さな変化に対して安定した結果を求める場合
Lasso回帰を選ぶべき場合：
- 特徴選択が必要：重要な変数を特定したい場合
- スパースモデル：シンプルで解釈しやすいモデルを求める場合
- 高次元データ：特徴量数が非常に多い場合
- ノイズ変数が多い：無関係な変数が多く含まれている場合
Elastic Net：両者の統合
Step 9: Elastic Netの導入
目的関数：
$$\\min_{\\beta} \\sum_{i=1}^n (y_i - \\mathbf{x}_i^T \\beta)^2 + \\lambda \\left[ \\alpha \\sum_{j=1}^p |\\beta_j| + (1-\\alpha) \\sum_{j=1}^p \\beta_j^2 \\right]$$
ここで：
- $\\alpha \\in [0,1]$：混合比率
- $\\alpha = 1$：Lasso回帰
- $\\alpha = 0$：Ridge回帰
- $0 < \\alpha < 1$：両者の組み合わせ
Elastic Netの利点：
- グループ効果：相関の高い変数群をまとめて選択
- 安定性：Lassoの不安定性を改善
- 柔軟性：$\\alpha$の調整により最適なバランスを実現
実装と最適化
Step 10: 正則化パラメータの選択
交差検証による選択：
- 候補値の設定：$\\lambda$の候補値を対数スケールで設定
- k-fold交差検証：各$\\lambda$値で性能を評価
- 最適値の決定：最小の検証誤差を与える$\\lambda$を選択
- 1-SE rule：最適値の1標準誤差以内で最も単純なモデルを選択
情報量規準による選択：
- AIC：$\\text{AIC} = n \\log(\\text{RSS}/n) + 2\\text{df}$
- BIC：$\\text{BIC} = n \\log(\\text{RSS}/n) + \\log(n) \\cdot \\text{df}$
- 有効自由度：Lassoでは非零係数の数、Ridgeでは複雑な計算が必要