最小二乗法の原理を理解する問題です。
最小二乗法(Ordinary Least Squares, OLS)とは
最小二乗法は、回帰分析において回帰係数を推定する基本的な方法です。
最小化する対象
残差(residual)の定義:
各データ点について、実測値と予測値の差を残差といいます:
$e_i = y_i - \hat{y}_i = y_i - (a + bx_i)$
残差の二乗和(Sum of Squared Errors, SSE):
$SSE = \sum_{i=1}^{n} e_i^2 = \sum_{i=1}^{n} (y_i - \hat{y}_i)^2$
最小二乗法の目的:
SSEを最小化するようなa(切片)とb(傾き)を求めます。
なぜ二乗和なのか
残差の総和ではない理由:
- 正の残差と負の残差が相殺されてしまう
- 平均の点 $(\bar{x}, \bar{y})$ を通る直線なら傾きに関係なく $\sum e_i = 0$ になるため、総和では直線が1本に決まらない
残差の絶対値の和ではない理由:
- $\sum |e_i|$ を最小化するのは最小絶対偏差法(LAD回帰)であり、一般に最小二乗法とは異なる直線になる
- なお、RMSE $=\sqrt{SSE/n}$ のようにSSEの単調増加変換である量は、SSEと同じ $a,b$ で最小になる
二乗する利点:
- すべて正の値になり、相殺されない
- 大きな残差により重いペナルティを課す
- 微分可能で数学的に扱いやすい
最小二乗法の注意点
- 直線を当てはめる方法: 関係が曲線的なデータでは当てはまりが悪くなります。
- 外れ値に敏感: 残差を二乗するので、大きく外れた点が1つあるだけで直線が引っぱられます。
外れ値の影響を小さくしたいときは、残差の絶対値の和を最小にする最小絶対偏差法(LAD回帰)や Huber 回帰などの方法を使うこともあります。
したがって、最小二乗法が最小化する量は残差の二乗和です。