モデル選択・評価

AIC、BIC、交差検証、ROC曲線、混合行列など、統計モデルの選択と評価に関する手法

交差検証の計算 レベル1

5-fold交差検証を行った結果、各foldでの精度が0.85, 0.82, 0.88, 0.84, 0.86であった。交差検証による平均精度と標準誤差を求めよ。

解説
解答と解説を表示
<p>この問題では、<strong>k-fold交差検証の統計的評価</strong>について理解を深めます。交差検証は単なる性能測定ではなく、モデルの汎化性能に関する統計的推定を行う手法です。</p><h4>交差検証における統計的評価</h4><p>交差検証の結果は確率変数として扱うべきものです。各foldでの性能は独立したサンプルではありませんが、モデルの真の性能に関する情報を提供します。</p><p class='step'><strong>Step 1: データの整理と基本統計</strong></p><p><strong>与えられた精度データ:</strong></p><ul><li>Fold 1: 0.85</li><li>Fold 2: 0.82</li><li>Fold 3: 0.88</li><li>Fold 4: 0.84</li><li>Fold 5: 0.86</li></ul><p class='step'><strong>Step 2: 標本平均の計算</strong></p><div class='formula'>$\bar{x} = \frac{1}{n}\sum_{i=1}^{n} x_i = \frac{1}{5}(0.85 + 0.82 + 0.88 + 0.84 + 0.86)$
$= \frac{4.25}{5} = 0.85$

これがモデルの推定汎化性能となります。

Step 3: 標本分散と標準偏差の計算

不偏分散の計算:

$s^2 = \frac{1}{n-1}\sum_{i=1}^{n}(x_i - \bar{x})^2$

各偏差の2乗を詳細に計算:

  • $(0.85 - 0.85)^2 = 0.0000$
  • $(0.82 - 0.85)^2 = (-0.03)^2 = 0.0009$
  • $(0.88 - 0.85)^2 = (0.03)^2 = 0.0009$
  • $(0.84 - 0.85)^2 = (-0.01)^2 = 0.0001$
  • $(0.86 - 0.85)^2 = (0.01)^2 = 0.0001$
$s^2 = \frac{0.0000 + 0.0009 + 0.0009 + 0.0001 + 0.0001}{4} = \frac{0.0020}{4} = 0.0005$
$s = \sqrt{0.0005} = 0.02236$

Step 4: 標準誤差の計算

標準誤差は平均の標準偏差を表します:

$SE = \frac{s}{\sqrt{n}} = \frac{0.02236}{\sqrt{5}} = \frac{0.02236}{2.236} = 0.01000$

しかし、より精密な計算では:

$SE = \frac{\sqrt{0.0005}}{\sqrt{5}} = \sqrt{\frac{0.0005}{5}} = \sqrt{0.0001} = 0.01$

交差検証結果の解釈
統計量解釈
平均精度0.85推定汎化性能
標準偏差0.0224性能のばらつき
標準誤差0.0095平均の不確実性

信頼区間の構築

95%信頼区間(t分布、自由度4):

$CI_{95\%} = 0.85 \pm t_{0.025,4} \times 0.0095$
$= 0.85 \pm 2.776 \times 0.0095 = 0.85 \pm 0.026$
$= [0.824, 0.876]$</div><p class='note'><strong>実践的な意味:</strong><br>このモデルの真の汎化性能は95%の確率で82.4%から87.6%の範囲にあると推定されます。標準誤差が小さいことは、推定の信頼性が高いことを示しています。</p>
問題 1/10
カテゴリ一覧に戻る