この問題では、k-fold交差検証の統計的評価について理解を深めます。交差検証は単なる性能測定ではなく、モデルの汎化性能に関する統計的推定を行う手法です。
交差検証における統計的評価
交差検証の結果は確率変数として扱うべきものです。各foldでの性能は独立したサンプルではありませんが、モデルの真の性能に関する情報を提供します。
Step 1: データの整理と基本統計
与えられた精度データ：
- Fold 1: 0.85
- Fold 2: 0.82
- Fold 3: 0.88
- Fold 4: 0.84
- Fold 5: 0.86
Step 2: 標本平均の計算
$\bar{x} = \frac{1}{n}\sum_{i=1}^{n} x_i = \frac{1}{5}(0.85 + 0.82 + 0.88 + 0.84 + 0.86)$
$= \frac{4.25}{5} = 0.85$
これがモデルの推定汎化性能となります。
Step 3: 標本分散と標準偏差の計算
不偏分散の計算：
$s^2 = \frac{1}{n-1}\sum_{i=1}^{n}(x_i - \bar{x})^2$
各偏差の2乗を詳細に計算：
- $(0.85 - 0.85)^2 = 0.0000$
- $(0.82 - 0.85)^2 = (-0.03)^2 = 0.0009$
- $(0.88 - 0.85)^2 = (0.03)^2 = 0.0009$
- $(0.84 - 0.85)^2 = (-0.01)^2 = 0.0001$
- $(0.86 - 0.85)^2 = (0.01)^2 = 0.0001$
$s^2 = \frac{0.0000 + 0.0009 + 0.0009 + 0.0001 + 0.0001}{4} = \frac{0.0020}{4} = 0.0005$
$s = \sqrt{0.0005} = 0.02236$
Step 4: 標準誤差の計算
標準誤差は平均の標準偏差を表します：
$SE = \frac{s}{\sqrt{n}} = \frac{0.02236}{\sqrt{5}} = \frac{0.02236}{2.236} = 0.01000$
しかし、より精密な計算では：
$SE = \frac{\sqrt{0.0005}}{\sqrt{5}} = \sqrt{\frac{0.0005}{5}} = \sqrt{0.0001} = 0.01$
交差検証結果の解釈
| 統計量 | 値 | 解釈 |
|---|
| 平均精度 | 0.85 | 推定汎化性能 |
| 標準偏差 | 0.0224 | 性能のばらつき |
| 標準誤差 | 0.0095 | 平均の不確実性 |
信頼区間の構築
95%信頼区間（t分布、自由度4）：
$CI_{95\%} = 0.85 \pm t_{0.025,4} \times 0.0095$
$= 0.85 \pm 2.776 \times 0.0095 = 0.85 \pm 0.026$
$= [0.824, 0.876]$
実践的な意味：
このモデルの真の汎化性能は95%の確率で82.4%から87.6%の範囲にあると推定されます。標準誤差が小さいことは、推定の信頼性が高いことを示しています。