反復重み付き最小二乗法（IRLS）とTukey二重指数関数
反復重み付き最小二乗法（Iteratively Reweighted Least Squares, IRLS）は、ロバスト回帰において外れ値の影響を抑制する重要な手法です。
IRLSの基本原理
IRLSは以下の手順で重みを更新しながら推定：
- 初期推定：通常の最小二乗法で初期値を設定
- 残差計算：現在の推定値による残差を計算
- 重み更新：残差に基づいて各観測値の重みを更新
- 重み付き回帰：重みを用いて係数を再推定
- 収束判定：収束するまで2-4を反復
Step 1: Tukey二重指数関数の定義
Tukey二重指数関数（Tukey's biweight function）は：
$\rho(u) = \begin{cases}\frac{c^2}{6}\left[1 - \left(1 - \left(\frac{u}{c}\right)^2\right)^3\right] & \text{if } |u| \leq c \\\frac{c^2}{6} & \text{if } |u| > c\end{cases}$
対応する$\psi$関数（$\rho$の微分）：
$\psi(u) = \begin{cases}u\left(1 - \left(\frac{u}{c}\right)^2\right)^2 & \text{if } |u| \leq c \\0 & \text{if } |u| > c\end{cases}$
Step 2: 重み関数の導出
IRLSでは重み$w(u) = \frac{\psi(u)}{u}$を使用：
$w(u) = \begin{cases}\left(1 - \left(\frac{u}{c}\right)^2\right)^2 & \text{if } |u| \leq c \\0 & \text{if } |u| > c\end{cases}$
Tukey二重指数の特徴
- 完全拒絶：$|u| > c$で重みが0になる
- 滑らかな減衰：閾値までは連続的に重みが減少
- 効率性：正規分布で約95%の効率性
- 破壊点：約50%の外れ値まで頑健
Step 3: 与えられた値での計算
与えられた条件：
- 残差：$r = 3.0$
- 調整パラメータ：$c = 4.685$
$|r| = 3.0 < c = 4.685$なので、重み関数を適用：
$w(3.0) = \left(1 - \left(\frac{3.0}{4.685}\right)^2\right)^2$
Step 4: 段階的計算
1. 比率の計算：
$\frac{r}{c} = \frac{3.0}{4.685} = 0.6405$
2. 比率の2乗：
$\left(\frac{r}{c}\right)^2 = (0.6405)^2 = 0.4102$
3. カッコ内の計算：
$1 - \left(\frac{r}{c}\right)^2 = 1 - 0.4102 = 0.5898$
4. 重みの計算：
$w = (0.5898)^2 = 0.3479$
調整パラメータcの選択
一般的なパラメータ値：
| 関数 | 効率性95%のc値 | 効率性85%のc値 |
|---|
| Huber | 1.345 | 1.28 |
| Tukey二重指数 | 4.685 | 3.44 |
| Hampel | 複数パラメータ | 複数パラメータ |
Step 5: IRLSアルゴリズムの詳細
Algorithm: IRLS for Robust Regression
- 初期化：$\hat{\boldsymbol{\beta}}^{(0)}$ を最小二乗推定量で設定
- 反復処理（$t = 1, 2, \ldots$まで）：
- 残差計算：$r_i^{(t-1)} = y_i - \mathbf{x}_i^T \hat{\boldsymbol{\beta}}^{(t-1)}$
- スケール推定：$\hat{\sigma}^{(t-1)} = \text{MAD}(r_i^{(t-1)}) / 0.6745$
- 標準化残差：$u_i^{(t-1)} = r_i^{(t-1)} / \hat{\sigma}^{(t-1)}$
- 重み計算：$w_i^{(t-1)} = w(u_i^{(t-1)})$
- 重み付き最小二乗：$\hat{\boldsymbol{\beta}}^{(t)} = (\mathbf{X}^T \mathbf{W}^{(t-1)} \mathbf{X})^{-1} \mathbf{X}^T \mathbf{W}^{(t-1)} \mathbf{y}$
- 収束判定：$\|\hat{\boldsymbol{\beta}}^{(t)} - \hat{\boldsymbol{\beta}}^{(t-1)}\| < \epsilon$
Step 6: 他のロバスト関数との比較
ロバスト関数の比較
| 関数 | ρ関数 | 重み関数w(u) | 特徴 |
|---|
| Huber | 二次-線形 | $\min(1, c/|u|)$ | バランス重視 |
| Tukey | 滑らかな再降下 | $(1-(u/c)^2)^2$ | 高ロバスト性 |
| Hampel | 3分割線形 | 複雑 | 調整可能 |
Step 7: 収束と安定性
収束条件：
- 係数収束：$\|\hat{\boldsymbol{\beta}}^{(t)} - \hat{\boldsymbol{\beta}}^{(t-1)}\|_2 < 10^{-6}$
- 目的関数収束：$|\sum \rho(r_i^{(t)}) - \sum \rho(r_i^{(t-1)})| < 10^{-8}$
- 最大反復数：通常50-100回
数値安定性：
- スケール推定：MAD（中央絶対偏差）による頑健な分散推定
- 初期値選択：高破壊点推定量（LMS、LTS等）の使用
- 特異値対策：共線性検出と除去