線形判別分析における判別得点の計算
線形判別分析の判別規則
線形判別分析(LDA)では、新しい観測値を各群に分類するために判別得点を計算します。最も高い判別得点を持つ群に観測値を分類することで、ベイズ誤分類率を最小化できます。
判別得点の計算手順
Step 1: 判別得点の公式
群$g$に対する判別得点:
$d_g(\mathbf{x}) = \mathbf{x}^T \mathbf{S}^{-1} \boldsymbol{\mu}_g - \frac{1}{2} \boldsymbol{\mu}_g^T \mathbf{S}^{-1} \boldsymbol{\mu}_g + \log \pi_g$
ここで:
- $\mathbf{x}$:新しい観測値
- $\boldsymbol{\mu}_g$:群$g$の平均ベクトル
- $\mathbf{S}$:共通の共分散行列
- $\pi_g$:群$g$の事前確率
Step 2: 与えられた条件の整理
- 群1の平均:$\boldsymbol{\mu}_1 = \begin{pmatrix} 2 \\ 1 \end{pmatrix}$
- 群2の平均:$\boldsymbol{\mu}_2 = \begin{pmatrix} 4 \\ 3 \end{pmatrix}$
- 共分散行列:$\mathbf{S} = \begin{pmatrix} 2 & 0 \\ 0 & 2 \end{pmatrix}$
- 新しい観測値:$\mathbf{x} = \begin{pmatrix} 3 \\ 2 \end{pmatrix}$
- 事前確率:$\pi_1 = \pi_2 = 0.5$(等しい)
Step 3: 共分散行列の逆行列計算
対角行列なので:
$\mathbf{S}^{-1} = \begin{pmatrix} 1/2 & 0 \\ 0 & 1/2 \end{pmatrix}$
Step 4: 群1の判別得点計算
第1項:$\mathbf{x}^T \mathbf{S}^{-1} \boldsymbol{\mu}_1$
$\mathbf{x}^T \mathbf{S}^{-1} \boldsymbol{\mu}_1 = \begin{pmatrix} 3 & 2 \end{pmatrix} \begin{pmatrix} 1/2 & 0 \\ 0 & 1/2 \end{pmatrix} \begin{pmatrix} 2 \\ 1 \end{pmatrix}$
$= \begin{pmatrix} 3/2 & 1 \end{pmatrix} \begin{pmatrix} 2 \\ 1 \end{pmatrix} = 3 + 1 = 4$
第2項:$\frac{1}{2} \boldsymbol{\mu}_1^T \mathbf{S}^{-1} \boldsymbol{\mu}_1$
$\frac{1}{2} \boldsymbol{\mu}_1^T \mathbf{S}^{-1} \boldsymbol{\mu}_1 = \frac{1}{2} \begin{pmatrix} 2 & 1 \end{pmatrix} \begin{pmatrix} 1/2 & 0 \\ 0 & 1/2 \end{pmatrix} \begin{pmatrix} 2 \\ 1 \end{pmatrix}$
$= \frac{1}{2} \begin{pmatrix} 1 & 1/2 \end{pmatrix} \begin{pmatrix} 2 \\ 1 \end{pmatrix} = \frac{1}{2}(2 + 0.5) = \frac{2.5}{2} = 1.25$
第3項:$\log \pi_1$
$\log \pi_1 = \log 0.5 = -\log 2 \approx -0.693$
しかし、事前確率が等しい場合、この項は判別には影響しないため、簡便な計算として省略可能です。
Step 5: 最終的な判別得点
$d_1(\mathbf{x}) = 4 - 1.25 + \log 0.5$
事前確率が等しい場合の簡便計算
事前確率が等しい場合、相対的な判別得点のみが重要なので:
$d_1(\mathbf{x}) = 4 - 1.25 = 2.75$
ただし、対数項を含めた厳密計算では:
$d_1(\mathbf{x}) = 2.75 - 0.693 \approx 2.06$
問題設定から最も自然な解釈として、簡便形式での答えを採用します:$d_1(\mathbf{x}) = 2.75$