最小二乗法の原理を理解する問題です。
最小二乗法（Ordinary Least Squares, OLS）とは
最小二乗法は、回帰分析において回帰係数を推定する基本的な方法です。
最小化する対象
残差（residual）の定義：
各データ点について、実測値と予測値の差を残差といいます：
$e_i = y_i - \hat{y}_i = y_i - (a + bx_i)$
残差の二乗和（Sum of Squared Errors, SSE）：
$SSE = \sum_{i=1}^{n} e_i^2 = \sum_{i=1}^{n} (y_i - \hat{y}_i)^2$
最小二乗法の目的：
SSEを最小化するようなa（切片）とb（傾き）を求めます。
なぜ二乗和なのか
残差の総和ではない理由：
- 正の残差と負の残差が相殺されてしまう
- $\sum e_i = 0$となる性質があるため、総和では最適化できない
二乗する利点：
- すべて正の値になり、相殺されない
- 大きな残差により重いペナルティを課す
- 微分可能で数学的に扱いやすい
最小二乗法の性質
- BLUE性質： 線形不偏最小分散推定量（Best Linear Unbiased Estimator）
- 正規方程式： $\frac{\partial SSE}{\partial a} = 0$, $\frac{\partial SSE}{\partial b} = 0$から解を導出
- ガウス・マルコフ定理： 一定の仮定下でOLSは最良線形不偏推定量
- 最尤推定との関係： 誤差が正規分布に従う場合、OLS = MLE
制約と仮定：
- 線形関係の仮定
- 誤差項の等分散性（ホモスケダスティシティ）
- 誤差項の無相関性
- 外れ値に敏感
外れ値に弱いOLSの欠点を補うため、ロバスト回帰（Huber回帰、RANSAC等）やL1正則化（Lasso回帰）などの代替手法も開発されています。
したがって、最小二乗法が最小化する量は残差の二乗和です。