線形判別分析における判別得点の計算
線形判別分析の判別規則
線形判別分析(LDA)では、新しい観測値を各群に分類するために判別得点を計算します。最も高い判別得点を持つ群に観測値を分類することで、ベイズ誤分類率を最小化できます。
判別得点の計算手順
Step 1: 判別得点の公式
群$g$に対する判別得点:
$d_g(\\mathbf{x}) = \\mathbf{x}^T \\mathbf{S}^{-1} \\boldsymbol{\\mu}_g - \\frac{1}{2} \\boldsymbol{\\mu}_g^T \\mathbf{S}^{-1} \\boldsymbol{\\mu}_g + \\log \\pi_g$
ここで:
- $\\mathbf{x}$:新しい観測値
- $\\boldsymbol{\\mu}_g$:群$g$の平均ベクトル
- $\\mathbf{S}$:共通の共分散行列
- $\\pi_g$:群$g$の事前確率
Step 2: 与えられた条件の整理
- 群1の平均:$\\boldsymbol{\\mu}_1 = \\begin{pmatrix} 2 \\\\ 1 \\end{pmatrix}$
- 群2の平均:$\\boldsymbol{\\mu}_2 = \\begin{pmatrix} 4 \\\\ 3 \\end{pmatrix}$
- 共分散行列:$\\mathbf{S} = \\begin{pmatrix} 2 & 0 \\\\ 0 & 2 \\end{pmatrix}$
- 新しい観測値:$\\mathbf{x} = \\begin{pmatrix} 3 \\\\ 2 \\end{pmatrix}$
- 事前確率:$\\pi_1 = \\pi_2 = 0.5$(等しい)
Step 3: 共分散行列の逆行列計算
対角行列なので:
$\\mathbf{S}^{-1} = \\begin{pmatrix} 1/2 & 0 \\\\ 0 & 1/2 \\end{pmatrix}$
Step 4: 群1の判別得点計算
第1項:$\\mathbf{x}^T \\mathbf{S}^{-1} \\boldsymbol{\\mu}_1$
$\\mathbf{x}^T \\mathbf{S}^{-1} \\boldsymbol{\\mu}_1 = \\begin{pmatrix} 3 & 2 \\end{pmatrix} \\begin{pmatrix} 1/2 & 0 \\\\ 0 & 1/2 \\end{pmatrix} \\begin{pmatrix} 2 \\\\ 1 \\end{pmatrix}$
$= \\begin{pmatrix} 3/2 & 1 \\end{pmatrix} \\begin{pmatrix} 2 \\\\ 1 \\end{pmatrix} = 3 + 1 = 4$
第2項:$\\frac{1}{2} \\boldsymbol{\\mu}_1^T \\mathbf{S}^{-1} \\boldsymbol{\\mu}_1$
$\\frac{1}{2} \\boldsymbol{\\mu}_1^T \\mathbf{S}^{-1} \\boldsymbol{\\mu}_1 = \\frac{1}{2} \\begin{pmatrix} 2 & 1 \\end{pmatrix} \\begin{pmatrix} 1/2 & 0 \\\\ 0 & 1/2 \\end{pmatrix} \\begin{pmatrix} 2 \\\\ 1 \\end{pmatrix}$
$= \\frac{1}{2} \\begin{pmatrix} 1 & 1/2 \\end{pmatrix} \\begin{pmatrix} 2 \\\\ 1 \\end{pmatrix} = \\frac{1}{2}(2 + 0.5) = \\frac{2.5}{2} = 1.25$
第3項:$\\log \\pi_1$
$\\log \\pi_1 = \\log 0.5 = -\\log 2 \\approx -0.693$
しかし、事前確率が等しい場合、この項は判別には影響しないため、簡便な計算として省略可能です。
Step 5: 最終的な判別得点
$d_1(\\mathbf{x}) = 4 - 1.25 + \\log 0.5$
事前確率が等しい場合の簡便計算
事前確率が等しい場合、相対的な判別得点のみが重要なので:
$d_1(\\mathbf{x}) = 4 - 1.25 = 2.75$
ただし、対数項を含めた厳密計算では:
$d_1(\\mathbf{x}) = 2.75 - 0.693 \\approx 2.06$
問題設定から最も自然な解釈として、簡便形式での答えを採用します:$d_1(\\mathbf{x}) = 2.75$