重回帰とモデル評価
Stage 2 — 第14章 | 統計検定2級チートシート 推定学習時間：55〜70分 | 難易度：★★★★☆
この章で学ぶこと
この章では、単回帰を拡張した重回帰分析と、モデルを評価するときの注意点を扱います。統計検定2級では、自由度修正済み決定係数、多重共線性、VIF、回帰係数の検定が特に重要です。
- 重回帰モデルの形を理解する
- 説明変数を増やすと決定係数がどう変わるかを説明できる
- 自由度修正済み決定係数を使う理由を理解する
- 多重共線性と VIF の意味を押さえる
- AIC/BIC は発展補足として位置づける
1. 重回帰モデル
重回帰では、複数の説明変数で目的変数を説明します。
- $p$：説明変数の数
- $\beta_j$：他の説明変数を固定したとき、$x_j$ が1増えた場合の $y$ の平均的な変化
- $\varepsilon_i$：モデルで説明できない誤差
単回帰と違い、重回帰の係数は「他の変数を一定にしたとき」という条件付きの解釈になります。
たとえば、家賃を目的変数にして、広さ、駅距離、築年数を説明変数にする場合、広さの係数は「駅距離と築年数が同じなら、広さが1単位増えたとき家賃がどれだけ変わるか」を表します。
「他の変数を固定」の意味
重回帰の係数は、単純に2変数だけを見た関係ではありません。ほかの説明変数の影響をモデル上でそろえたうえで、対象の説明変数が1単位変わると目的変数がどれだけ変わるかを見ています。
そのため、単純相関では強く見えた変数が、重回帰では有意でなくなることがあります。これは、その変数が持っていた情報が他の説明変数と重複していたためです。
関連教材（青の統計学）
2. 説明変数を追加すると何が起きるか
重回帰では、説明変数を増やすほど標本データへの当てはまりは改善しやすくなります。特に、通常の決定係数 $R^2$ は、説明変数を追加しても基本的に下がりません。
説明変数を増やせば、残差平方和 $RSS$ は小さくなりやすいため、$R^2$ は大きく見えます。しかし、意味のない変数まで入れてしまうと、標本データにだけ過剰に適合する可能性があります。
この問題を補正するために使うのが、自由度修正済み決定係数です。
$R^2$ が下がりにくい理由
最小二乗法では、説明変数を追加すると、少なくとも以前と同じ当てはまりを再現できます。追加した変数の係数を0にすれば、元のモデルと同じになるからです。
したがって、標本データ上の $RSS$ は増えにくく、$R^2$ は下がりにくくなります。これは「モデルが本当に良くなった」ことを必ずしも意味しません。
3. 自由度修正済み決定係数
自由度修正済み決定係数は、説明変数の数に対してペナルティを入れた指標です。
ここで、$n$ は標本サイズ、$p$ は説明変数の数です。
通常の $R^2$ と違い、意味のない説明変数を追加すると、自由度修正済み $R^2$ は下がることがあります。そのため、重回帰モデルの比較では通常の $R^2$ だけでなく、自由度修正済み $R^2$ を確認します。
分母の自由度を読む
$RSS/(n-p-1)$ は、残差平方和を残差の自由度で割ったものです。切片1個と説明変数 $p$ 個のパラメータを推定しているため、残差の自由度は $n-p-1$ になります。
説明変数を増やすと $RSS$ は下がりやすい一方で、自由度も減ります。自由度修正済み決定係数は、この両方を見て、変数追加の見かけの改善を調整しています。
試験での見方
| 指標 | 特徴 |
|---|---|
| $R^2$ | 説明変数を増やすと下がりにくい |
| 自由度修正済み $R^2$ | 変数数にペナルティをかける |
| 予測精度 | 未知データでの当たり具合。$R^2$ とは別問題 |
関連教材（青の統計学）
4. 回帰係数の検定
重回帰でも、各説明変数の係数について検定を行います。
検定統計量は
です。自由度は、切片と $p$ 個の説明変数を推定しているため、
になります。
ただし、係数の有意性は「他の変数をモデルに含めた状態で、その変数が追加的に説明力を持つか」を見ています。単純相関が強い変数でも、他の説明変数と情報が重複していれば、有意でなくなることがあります。
係数の検定とモデル全体の検定は違う
各係数のt検定は、「その変数が他の変数を固定したうえで追加的に効いているか」を見ます。一方、モデル全体のF検定は、説明変数全体として目的変数を説明できているかを見ます。
個々の係数が有意でないからといって、モデル全体が無意味とは限りません。逆に、モデル全体が有意でも、すべての変数を個別に解釈できるとは限りません。
5. 多重共線性
多重共線性とは、説明変数どうしが強く相関している状態です。
たとえば、家賃を説明するモデルで「部屋の広さ」と「部屋数」を同時に入れると、両者は似た情報を持っている可能性があります。このような場合、係数の推定が不安定になりやすくなります。
多重共線性があると起きること
- 係数の標準誤差が大きくなる
- t 値が小さくなり、有意になりにくい
- 係数の符号や大きさが直感とずれることがある
- 予測値は大きく変わらなくても、個々の係数解釈が難しくなる
VIF
多重共線性の確認によく使われる指標が VIF です。
$R_j^2$ は、説明変数 $x_j$ を他の説明変数で回帰したときの決定係数です。$x_j$ が他の説明変数でよく説明できてしまうほど、$R_j^2$ は大きくなり、VIF も大きくなります。
なぜ標準誤差が大きくなるのか
説明変数どうしが似た情報を持っていると、どちらの変数に効果を割り当てるべきかが不安定になります。その結果、係数推定のばらつき、つまり標準誤差が大きくなります。
標準誤差が大きくなると、係数そのものがある程度大きくてもt値は小さくなり、有意になりにくくなります。多重共線性は、予測よりも係数解釈を難しくする問題として押さえましょう。
関連教材（青の統計学）
6. AIC/BIC は何を見ているか
AIC や BIC は、モデル選択で使われる情報量基準です。統計検定2級では深い導出まで必要ありませんが、「当てはまり」と「複雑さ」のバランスを見る指標として押さえます。
一般に、AIC は次の形で表されます。
ここで、$L$ は尤度、$k$ は推定するパラメータ数です。尤度が高いほど第1項は小さくなり、パラメータ数が多いほど第2項のペナルティが大きくなります。
BIC は AIC よりもモデルの複雑さに強めのペナルティをかけます。
情報量基準の直感
尤度が高いモデルは、観測データをよく説明します。しかし、パラメータを増やせば当てはまりは良くなりやすいため、そのままだと複雑なモデルが有利になります。
AIC/BIC は、当てはまりの良さに対して、モデルの複雑さのペナルティを加えます。統計検定2級では、値が小さいモデルを選ぶこと、そして「当てはまりだけで選ばない」ことを押さえれば十分です。
予測精度との違い
AIC/BIC はモデル比較の基準ですが、最終的な予測精度は未知データで確認する必要があります。試験では「決定係数が高いから必ず予測精度が高い」といった誤った解釈を避けましょう。
関連教材（青の統計学）
7. 試験で問われやすいポイント
係数の解釈は「他の変数を固定」
重回帰係数は単純な2変数関係ではありません。他の説明変数を一定にした条件付きの変化量です。
$R^2$ と自由度修正済み $R^2$ を区別する
説明変数が増えたとき、通常の $R^2$ だけを見てモデルが良くなったと判断しないことが重要です。
多重共線性は係数解釈の問題
多重共線性があると、個々の係数の推定が不安定になります。予測だけが目的の場合と、係数解釈が目的の場合では、問題の深刻さが変わります。
確認問題
問題1
標本サイズ $n=30$、説明変数の数 $p=4$ の重回帰で、各係数の t 検定に使う自由度を求めてください。
解答を見る
問題2
ある説明変数 $x_j$ を他の説明変数で回帰したところ、$R_j^2=0.8$ だった。$VIF_j$ を求めてください。
解答を見る
他の説明変数でかなり説明できているため、多重共線性に注意します。
まとめ
| 概念 | 内容 |
|---|---|
| 重回帰 | 複数の説明変数で目的変数を説明する |
| 係数の解釈 | 他の変数を固定したときの変化量 |
| 自由度修正済み $R^2$ | 説明変数の数にペナルティを入れる |
| 多重共線性 | 説明変数どうしが強く相関し、係数が不安定になる |
| VIF | 説明変数が他の説明変数でどれだけ説明されるかを見る |
| AIC/BIC | 当てはまりと複雑さのバランスを見る発展的指標 |
次章では、3群以上の平均差を扱う分散分析と、実験計画の考え方に進みます。
この章のあとに解きたい演習
本文を読んだら、次の問題で「公式を選ぶ」「条件を読む」「計算する」練習に移りましょう。