重回帰分析：行列形式による最小二乗推定
重回帰モデルの行列表現
Step 1: 重回帰モデルの設定
重回帰モデル：
$\mathbf{y} = \mathbf{X}\boldsymbol{\beta} + \boldsymbol{\varepsilon}$
ここで：
- $\mathbf{y}$：$n \times 1$応答ベクトル
- $\mathbf{X}$：$n \times p$計画行列
- $\boldsymbol{\beta}$：$p \times 1$回帰係数ベクトル
- $\boldsymbol{\varepsilon}$：$n \times 1$誤差ベクトル
Step 2: 最小二乗推定量の導出
残差平方和：
$S(\boldsymbol{\beta}) = (\mathbf{y} - \mathbf{X}\boldsymbol{\beta})^T(\mathbf{y} - \mathbf{X}\boldsymbol{\beta})$
$S(\boldsymbol{\beta})$を最小化する正規方程式：
$\frac{\partial S}{\partial \boldsymbol{\beta}} = -2\mathbf{X}^T(\mathbf{y} - \mathbf{X}\boldsymbol{\beta}) = \mathbf{0}$
これより：
$\mathbf{X}^T\mathbf{X}\boldsymbol{\beta} = \mathbf{X}^T\mathbf{y}$
Step 3: 最小二乗推定量
$\mathbf{X}^T\mathbf{X}$が正則のとき：
$\hat{\boldsymbol{\beta}} = (\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T\mathbf{y}$
最小二乗推定量の性質
- 不偏性：$E[\hat{\boldsymbol{\beta}}] = \boldsymbol{\beta}$
- BLUE性質：線形不偏推定量中で最小分散
- 一致性：$\hat{\boldsymbol{\beta}} \xrightarrow{p} \boldsymbol{\beta}$
- 漸近正規性：$\sqrt{n}(\hat{\boldsymbol{\beta}} - \boldsymbol{\beta}) \xrightarrow{d} N(\mathbf{0}, \sigma^2(\mathbf{X}^T\mathbf{X})^{-1})$
Step 4: 逆行列の計算
与えられた行列：
$\mathbf{X}^T\mathbf{X} = \begin{pmatrix} 4 & 2 \\ 2 & 3 \end{pmatrix}$
行列式：
$\det(\mathbf{X}^T\mathbf{X}) = 4 \times 3 - 2 \times 2 = 12 - 4 = 8$
逆行列：
$(\mathbf{X}^T\mathbf{X})^{-1} = \frac{1}{8}\begin{pmatrix} 3 & -2 \\ -2 & 4 \end{pmatrix} = \begin{pmatrix} 3/8 & -1/4 \\ -1/4 & 1/2 \end{pmatrix}$
Step 5: 最小二乗推定量の計算
$\begin{align}\hat{\boldsymbol{\beta}} &= (\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T\mathbf{y}\\&= \begin{pmatrix} 3/8 & -1/4 \\ -1/4 & 1/2 \end{pmatrix}\begin{pmatrix} 10 \\ 8 \end{pmatrix}\\&= \begin{pmatrix} (3/8) \times 10 + (-1/4) \times 8 \\ (-1/4) \times 10 + (1/2) \times 8 \end{pmatrix}\\&= \begin{pmatrix} 3.75 - 2 \\ -2.5 + 4 \end{pmatrix}\\&= \begin{pmatrix} 1.75 \\ 1.5 \end{pmatrix}\end{align}$
Step 6: 結果の解釈
第1成分$\hat{\beta}_1 = 1.75$は：
- 第1説明変数の回帰係数
- 他の変数を固定したときの偏回帰係数
- 第1説明変数が1単位増加したときの応答変数の期待変化量
計算の検証
正規方程式による確認：
$\mathbf{X}^T\mathbf{X}\hat{\boldsymbol{\beta}} = \begin{pmatrix} 4 & 2 \\ 2 & 3 \end{pmatrix}\begin{pmatrix} 1.75 \\ 1.5 \end{pmatrix} = \begin{pmatrix} 10 \\ 8 \end{pmatrix} = \mathbf{X}^T\mathbf{y}$ ✓