この問題では、機械学習の根幹をなすバイアス・バリアンス分解（Bias-Variance Decomposition）の計算を通じて、予測誤差の構造的理解を深めます。
バイアス・バリアンス分解の理論的基礎
Step 1: 予測誤差の分解公式
期待二乗誤差の分解：
$E[(y - \hat{f}(x))^2] = \text{Bias}^2[\hat{f}(x)] + \text{Var}[\hat{f}(x)] + \sigma^2$
ここで：
- $y$：真の目標値（$y = f(x) + \epsilon$, $\epsilon \sim N(0, \sigma^2)$）
- $\hat{f}(x)$：モデルの予測値
- $f(x)$：真の関数（ノイズなし）
- $\sigma^2$：削減不可能なノイズ（Irreducible Error）
各成分の定義：
$\text{Bias}[\hat{f}(x)] = E[\hat{f}(x)] - f(x)$
$\text{Var}[\hat{f}(x)] = E[(\hat{f}(x) - E[\hat{f}(x)])^2]$
バイアス・バリアンス分解の直感的理解
- バイアス（Bias）：モデルの平均的な予測と真の値との系統的なずれ
- バリアンス（Variance）：訓練データが変わることによる予測のばらつき
- ノイズ（Noise）：どんなモデルでも削減できない本質的な誤差
Step 2: 問題設定の確認
与えられた情報：
- 真の関数：$f(x) = 2x + 1$
- 評価点：$x = 1$なので$f(1) = 2 \times 1 + 1 = 3$
- ノイズ分散：$\sigma^2 = 0.25$
- 5つのデータセットでの予測値：2.8, 3.2, 2.6, 3.4, 2.5
計算目標：
- $\text{Bias}^2[\hat{f}(1)]$を計算
- $\text{Var}[\hat{f}(1)]$を計算
- 期待二乗誤差$E[(y - \hat{f}(1))^2]$を計算
詳細な計算手順
Step 3: 予測値の平均（期待値）を計算
予測値の一覧：
$\hat{f}_1(1) = 2.8, \quad \hat{f}_2(1) = 3.2, \quad \hat{f}_3(1) = 2.6, \quad \hat{f}_4(1) = 3.4, \quad \hat{f}_5(1) = 2.5$
平均予測値の計算：
$E[\hat{f}(1)] = \frac{1}{5}(2.8 + 3.2 + 2.6 + 3.4 + 2.5)$
$= \frac{1}{5}(14.5) = 2.9$
これが、無限に多くのデータセットでモデルを訓練した場合の平均的な予測値です。
Step 4: バイアスの計算
バイアスの定義：
$\text{Bias}[\hat{f}(1)] = E[\hat{f}(1)] - f(1)$
数値の代入：
$\text{Bias}[\hat{f}(1)] = 2.9 - 3.0 = -0.1$
バイアス²の計算：
$\text{Bias}^2[\hat{f}(1)] = (-0.1)^2 = 0.01$
バイアスの解釈：
- 負のバイアス（-0.1）は、モデルが系統的に真の値より小さく予測する傾向を示す
- これは未学習（underfitting）の兆候
- モデルの表現力不足や学習不足が原因の可能性
Step 5: バリアンスの計算
バリアンスの定義：
$\text{Var}[\hat{f}(1)] = E[(\hat{f}(1) - E[\hat{f}(1)])^2]$
各予測値と平均の差：
- $(\hat{f}_1(1) - E[\hat{f}(1)])^2 = (2.8 - 2.9)^2 = (-0.1)^2 = 0.01$
- $(\hat{f}_2(1) - E[\hat{f}(1)])^2 = (3.2 - 2.9)^2 = (0.3)^2 = 0.09$
- $(\hat{f}_3(1) - E[\hat{f}(1)])^2 = (2.6 - 2.9)^2 = (-0.3)^2 = 0.09$
- $(\hat{f}_4(1) - E[\hat{f}(1)])^2 = (3.4 - 2.9)^2 = (0.5)^2 = 0.25$
- $(\hat{f}_5(1) - E[\hat{f}(1)])^2 = (2.5 - 2.9)^2 = (-0.4)^2 = 0.16$
バリアンスの計算：
$\text{Var}[\hat{f}(1)] = \frac{1}{5}(0.01 + 0.09 + 0.09 + 0.25 + 0.16)$
$= \frac{1}{5}(0.60) = 0.12$
しかし、標本分散を使用する場合は$n-1$で割る必要があります：
$\text{Var}[\hat{f}(1)] = \frac{1}{4}(0.60) = 0.15$
Step 6: 期待二乗誤差の計算
期待二乗誤差の分解：
$E[(y - \hat{f}(1))^2] = \text{Bias}^2[\hat{f}(1)] + \text{Var}[\hat{f}(1)] + \sigma^2$
各成分の値：
- $\text{Bias}^2[\hat{f}(1)] = 0.01$
- $\text{Var}[\hat{f}(1)] = 0.15$
- $\sigma^2 = 0.25$
期待二乗誤差：
$E[(y - \hat{f}(1))^2] = 0.01 + 0.15 + 0.25 = 0.41$