回帰分析

線形回帰、一般化線形モデル、ロジスティック回帰、モデル選択など統計検定準1級レベルの回帰分析理論

Elastic Net レベル1

Elastic Netの正則化項について正しい説明はどれか。Ridgeの正則化パラメータを$\lambda_1$、Lassoの正則化パラメータを$\lambda_2$とする。

解説

解答と解説を表示

Elastic Netは、Ridge回帰とLasso回帰の長所を組み合わせた正則化手法です。L1正則化とL2正則化を同時に適用することで、特徴選択と多重共線性の両方に対処できます。

Elastic Net回帰の目的関数は：

$\min_{\beta} \frac{1}{2n} ||y - X\beta||_2^2 + \lambda_1 \sum_{j=1}^p \beta_j^2 + \lambda_2 \sum_{j=1}^p |\beta_j|$

ここで：

Step 1: 正則化項の構成要素

Ridge正則化（L2ペナルティ）：

$\lambda_1 \sum_{j=1}^p \beta_j^2$

Lasso正則化（L1ペナルティ）：

$\lambda_2 \sum_{j=1}^p |\beta_j|$

Step 2: 選択肢の検討

選択肢A：$\lambda_1 \sum_{j=1}^p \beta_j^2 + \lambda_2 \sum_{j=1}^p |\beta_j|$

これは正しいElastic Netの正則化項です。

選択肢B：$\lambda_1 \sum_{j=1}^p |\beta_j| + \lambda_2 \sum_{j=1}^p \beta_j^2$

パラメータの対応が逆になっており、間違いです。

選択肢C・D：数学的に正しくない形式で、間違いです。

Elastic Netでは、しばしば以下の等価な表現も使われます：

$\lambda[(1-\alpha)||\beta||_2^2 + \alpha||\beta||_1]$

ここで：

Step 3: 実用的な利点

相関特徴の処理：

高い相関を持つ特徴群がある場合：

例：遺伝子発現データで相関の高い遺伝子群

$\text{相関} > 0.9 \Rightarrow \text{Lassoは不安定、Elastic Netは安定}$

Step 4: パラメータ選択

最適な$\lambda_1$と$\lambda_2$は交差検証で選択：

問題検索