重回帰・OLS・回帰診断

Stage 4 — 第1章 | 統計検定準1級チートシート推定学習時間：100〜120分 | 難易度：★★★★☆

このページで押さえること

重回帰は、準1級の回帰・ANOVA・GLMの入口です。公式を覚えるだけでなく、OLSが「列空間への直交射影」であり、診断は「モデル仮定の崩れを残差で見る」作業だと理解すると、GLS、正則化、モデル選択へ自然につながります。

このページを終えると、こんなことができるようになります：

重回帰モデルを行列表現で書ける
OLS推定量を正規方程式と射影の両方から説明できる
回帰係数の標準誤差、t検定、F検定の前提を説明できる
多重共線性、外れ値、影響点、残差パターンを診断できる
GLS、Ridge、LassoをOLSからの拡張として整理できる

2級ではここまで、準1級ではここが増える

2級では、回帰は主に単回帰で、最小二乗法による傾きと切片、決定係数 $R^2$、係数の有意性までが中心でした。説明変数は基本的に1つで、行列も射影も登場しません。

準1級では、説明変数が複数になり、回帰を行列とベクトルの幾何として扱います。

観点	2級でのレベル	準1級で増える点
モデル	単回帰 $y=a+bx$	行列表現 $y=X\beta+\varepsilon$ と射影
推定	傾き・切片の公式	正規方程式・ハット行列・GLS
多変数	（ほぼ扱わない）	多重共線性（VIF）と係数の不安定性
診断	残差の目視程度	レバレッジ・Cook距離・正則化

つまり準1級では「式に当てはめる」だけでなく、OLSが列空間への直交射影であることを理解し、診断指標と正則化を仮定の崩れへの対処として説明できることが問われます。

1. 重回帰モデル

目的変数ベクトルを $y\in\mathbb{R}^n$、説明変数行列を $X\in\mathbb{R}^{n\times p}$ とします。切片を含める場合、$X$ の1列目をすべて1にします。

重回帰モデルは、

y=X\beta+\varepsilon

です。基本仮定は、

E[\varepsilon]=0,\qquad Var(\varepsilon)=\sigma^2I

です。正規性を加えると、

\varepsilon\sim N(0,\sigma^2I)

となり、t検定やF検定の有限標本分布を厳密に使えます。ただし、OLS推定量そのものの線形不偏性には正規性は不要です。

📘 前提知識：残差は「説明しきれなかった成分」

OLSでは、目的変数を説明変数で作れる部分と作れない部分に分けます。作れる部分が当てはめ値、残った直交成分が残差です。回帰診断では、この残差や影響点を見ることで、モデルの仮定がどこで怪しいかを確認します。

2. OLS推定量と正規方程式

OLSは残差平方和

RSS(\beta)=(y-X\beta)^\top(y-X\beta)

を最小化します。微分すると、

\frac{\partial RSS}{\partial \beta} =-2X^\top(y-X\beta)

なので、最小化条件は

X^\top(y-X\hat\beta)=0

です。これを正規方程式と呼びます。

X^\top X\hat\beta=X^\top y

$X^\top X$ が正則なら、

\hat\beta=(X^\top X)^{-1}X^\top y

です。

正規方程式の意味は、残差ベクトル

\hat\varepsilon=y-X\hat\beta

が、説明変数行列 $X$ の各列と直交することです。言い換えると、OLSは「残差が説明変数で説明できる成分を残さない」ように $\hat\beta$ を選ぶ操作であり、後で見る射影の幾何そのものです。

関連教材（青の統計学）

回帰分析入門／最小二乗法（動画）

統計学応用回帰分析の演習

3. 射影としてのOLS

当てはめ値は

\hat y=X\hat\beta =X(X^\top X)^{-1}X^\top y

です。ここで

H=X(X^\top X)^{-1}X^\top

をハット行列と呼びます。

\hat y=Hy

です。 $H$ は対称かつ冪等です。

H^\top=H,\qquad H^2=H

したがって、$H$ は $y$ を $X$ の列空間へ直交射影する行列です。残差は

\hat\varepsilon=(I-H)y

で、$X$ の列空間に直交します。この幾何が、ANOVAの平方和分解にもつながります。

次の図では、$y$ を $X$ の列空間へ落とした影が $\hat y$、そこから直角に残る成分が残差 $\hat{\varepsilon}$ であることを見る。

目的変数ベクトルを説明変数の列空間へ射影し、当てはめ値と残差へ分解するOLSの幾何図

OLSは、目的変数ベクトルを説明変数の列空間へ直交射影し、当てはめ値と残差へ分解する。

この直交関係が $X^\top \hat{\varepsilon}=0$ であり、ANOVAの平方和分解やハット行列の意味へつながる。

4. 推定量の分布と検定

基本仮定の下で、

E[\hat\beta]=\beta

です。分散共分散行列は、

Var(\hat\beta)=\sigma^2(X^\top X)^{-1}

です。 $\sigma^2$ は未知なので、残差平方和を使って

\hat\sigma^2=\frac{RSS}{n-p}

で推定します。自由度が $n-p$ になるのは、$p$ 個の回帰係数を推定しているからです。

係数 $\beta_j$ の検定では、

T=\frac{\hat\beta_j-\beta_{j,0}}{SE(\hat\beta_j)}

を使い、正規誤差の下で $t_{n-p}$ に従います。

複数係数をまとめて検定する場合は、制約ありモデルと制約なしモデルのRSSを比較します。

F= \frac{(RSS_R-RSS_F)/q}{RSS_F/(n-p)}

ここで $q$ は制約数です。

5. 多重共線性

説明変数同士が強く相関すると、$X^\top X$ がほぼ特異になり、

(X^\top X)^{-1}

の要素が大きくなります。その結果、係数推定量の分散が大きくなり、符号や有意性が不安定になります。

多重共線性の診断には、VIFを使います。説明変数 $X_j$ を他の説明変数で回帰した決定係数を $R_j^2$ とすると、

VIF_j=\frac{1}{1-R_j^2}

です。この式は「$X_j$ が他の説明変数でどれだけ説明できてしまうか」を分散の増幅率として読みます。$R_j^2$ が1に近い（＝他変数で説明できる）ほど分母が0に近づき、$VIF$ が発散します。目安として $VIF>10$ で強い共線性を疑います。

多重共線性は、予測精度には致命的でないこともありますが、個別係数の解釈には大きく影響します。

関連教材（青の統計学）

多重共線性（動画）

統計学応用回帰分析の演習

6. 回帰診断

回帰診断では、主に残差と影響度を見ます。

診断対象	見る量	問題の意味
非線形性	残差プロット	線形モデルが不足
不均一分散	残差の扇形	標準誤差が不安定
外れ値	標準化残差	目的変数方向の異常
高レバレッジ	$h_{ii}$	説明変数空間で端にある
影響点	Cook距離	推定結果を大きく動かす

ハット行列の対角成分

h_{ii}

はレバレッジです。標本 $i$ が説明変数空間でどれだけ端にあるかを示します。

Cook距離は、ある観測を除いたとき推定結果がどれだけ変わるかを測ります。外れ値、高レバレッジ、影響点は同じではありません。

次の図では、縦方向に外れた点と、横方向に端にある点を分けて見る。高leverage点は、てこの支点のように回帰直線を大きく動かすことがある。

回帰直線に対して通常点、外れ値、高レバレッジ点、影響点を比較し、てこの支点としてのleverageとCook距離を示す図

leverageは説明変数空間で端にある度合い、Cook距離はその点を外したとき推定直線がどれだけ動くかを表す。

標準化残差だけが大きい点は外れ値だが、leverageが小さければ推定直線への影響は限定的なことがある。Cook距離は、残差の大きさとleverageの両方を合わせた影響度として読む。

関連教材（青の統計学）

残差分析（Cookの距離など）（動画）

統計学応用回帰分析の演習

7. GLS

誤差分散が

Var(\varepsilon)=\sigma^2\Omega

のように単位行列でない場合、OLSはBLUEでなくなることがあります。このとき一般化最小二乗法を使います。

\hat\beta_{GLS}=(X^\top\Omega^{-1}X)^{-1}X^\top\Omega^{-1}y

です。直感的には、誤差の分散共分散構造を考慮して重み付きで最小二乗を行います。不均一分散や系列相関がある場面で重要です。

8. L1/L2正則化

Ridge回帰は、

RSS(\beta)+\lambda\sum_{j=1}^{p}\beta_j^2

を最小化します。解は

\hat\beta_{ridge}=(X^\top X+\lambda I)^{-1}X^\top y

です。分散を下げる代わりにバイアスを導入します。多重共線性に強くなります。

Lassoは、

RSS(\beta)+\lambda\sum_{j=1}^{p}|\beta_j|

を最小化します。 L1罰則により係数が0になりやすく、変数選択の効果があります。

準1級では、正則化を「MSEのバイアス・分散トレードオフ」として読むのが重要です。

次の図では、RSSの等高線が制約領域に最初に接する点が正則化解になると見る。円形のRidgeと菱形のLassoでは、接点の出方が異なる。

二次元係数平面でRSS等高線とRidgeの円形制約、Lassoの菱形制約を比較し、Lassoで係数が0になりやすい理由を示す図

RidgeのL2制約は円形、LassoのL1制約は菱形になり、菱形の角で等高線と接しやすいため係数が0になりやすい。

Lassoの菱形は座標軸上に角を持つため、接点が軸上に来やすい。これが係数をちょうど0にし、変数選択の効果を生む直観である。

9. 小さな計算例：最小二乗法で直線を当てはめる

正規方程式が「残差を説明変数と直交させる」操作であることを、最小の数値例で確認します。 1説明変数（切片あり）の場合、$\hat\beta=(X^\top X)^{-1}X^\top y$ は次の公式に帰着します。

\hat\beta_1=\frac{S_{xy}}{S_{xx}},\qquad \hat\beta_0=\bar y-\hat\beta_1\bar x

ここで $S_{xx}=\sum(x_i-\bar x)^2$、$S_{xy}=\sum(x_i-\bar x)(y_i-\bar y)$ です。データを $(x_i,y_i)=(1,2),(2,2),(3,4),(4,5)$ とします。平均は $\bar x=2.5,\ \bar y=3.25$ です。

S_{xx}=2.25+0.25+0.25+2.25=5,\qquad S_{xy}=1.875+0.625+0.375+2.625=5.5

なので、

\hat\beta_1=\frac{5.5}{5}=1.1,\qquad \hat\beta_0=3.25-1.1\times2.5=0.5

となり、当てはめ式は $\hat y=0.5+1.1x$ です。当てはめ値と残差は次の通りで、残差の和はちょうど0になります（切片を含むOLSの性質）。

$x_i$	$y_i$	$\hat y_i$	$\hat\varepsilon_i$
1	2	1.6	$0.4$
2	2	2.7	$-0.7$
3	4	3.8	$0.2$
4	5	4.9	$0.1$

残差平方和は $RSS=0.4^2+0.7^2+0.2^2+0.1^2=0.70$ で、誤差分散の推定は

\hat\sigma^2=\frac{RSS}{n-p}=\frac{0.70}{4-2}=0.35

です（$p=2$ は切片と傾きの2係数）。このように、正規方程式は具体的な数値でも「残差和=0」「自由度 $n-p$」という性質に直結します。試験では、回帰表の係数・標準誤差・$\hat\sigma^2$ がこの計算のどこに対応するかを読めることが重要です。

10. 問題文トリガー辞書

問題文の表現	判断する論点	使う式・診断	典型ミス
「正規方程式」	OLS	$X^\top(y-X\hat\beta)=0$	微分だけで意味を見ない
「係数の検定」	t検定	$t_{n-p}$	自由度を $n-1$ にする
「複数係数を同時に」	F検定	RSS差	個別t検定を繰り返す
「説明変数が強く相関」	多重共線性	VIF	目的変数との相関と混同
「不均一分散」	GLS/頑健SE	$\Omega$	OLS係数が必ず偏ると考える
「係数を縮める」	Ridge/Lasso	L2/L1罰則	正則化を不偏推定と考える

11. 典型ミス・ひっかけ

ミス	なぜ危ないか	防ぎ方
OLSに正規性が必須だと考える	BLUEには正規性不要	推定量性質と検定分布を分ける
$R^2$ が高ければ因果効果があると読む	予測適合と因果は別	設計・交絡を見る
多重共線性を予測不能と同一視する	係数解釈が主に不安定	予測と解釈を分ける
外れ値と影響点を同じものとする	高レバレッジが必要な場合もある	残差とレバレッジを両方見る
Lassoで選ばれた変数を通常のp値でそのまま検定する	選択後推論の問題がある	変数選択と推論を分ける

12. 解法テンプレ

回帰の問題が出たら、次の順で処理します。

モデルを行列表現 $y=X\beta+\varepsilon$ に直し、何が $X$ で何が $\beta$ かを確認する。
推定量を問われたら正規方程式 $X^\top X\hat\beta=X^\top y$ から $\hat\beta=(X^\top X)^{-1}X^\top y$ を書く。
係数の検定なら自由度 $n-p$ の $t$、複数係数の同時検定ならRSS差の $F$ を使う。
「説明変数が強く相関」ならVIFで多重共線性を確認し、係数解釈と予測を切り分ける。
残差プロット・レバレッジ $h_{ii}$・Cook距離で、外れ値・高レバレッジ・影響点を区別する。
不均一分散や系列相関ならGLS、係数を縮めるならRidge/Lasso（バイアス・分散トレードオフ）を選ぶ。
正規性が要るのは検定の有限標本分布であって、OLSの線形不偏性ではない点を最後に確認する。

13. ここで1問

回帰表を読むときは、「どの仮定の下で」その数値が意味を持つかを意識して解きます。

このページの確認問題

統計学応用回帰分析の演習

まず解く: OLS、t検定、F検定、多重共線性、残差診断

目標: 回帰表の係数・標準誤差・診断指標を前提つきで読める

関連教材（青の統計学）

回帰分析入門／最小二乗法（動画）

多重共線性（動画）

統計学応用回帰分析の演習

14. 次に読むページ

次は、GLM、ロジスティック回帰、プロビット、ポアソン回帰、生存時間解析を扱います。線形予測子の考え方を、正規応答以外へ広げます。

GLM・ロジスティック/プロビット・生存時間解析