相関と単回帰

Stage 2 — 第13章 | 統計検定2級チートシート 推定学習時間：55〜70分 | 難易度：★★★★☆

この章で学ぶこと

この章では、2つの量的変数の関係を表す相関と、片方の変数で片方を説明する単回帰分析を扱います。

• 相関係数と単回帰の違いを説明できる
• 最小二乗法が何を最小化しているかを理解する
• 回帰係数、残差、決定係数を解釈できる
• TSS、ESS、RSS の関係を使える
• 偏相関係数の意味を押さえる

1. 相関と回帰の違い

相関は、2つの変数がどの程度一緒に動くかを表す指標です。相関係数は次のように定義されます。

値は $-1$ から $1$ の範囲を取り、絶対値が大きいほど線形関係が強いと解釈します。

一方、回帰は「説明変数 $X$ を使って目的変数 $Y$ を説明・予測する」ためのモデルです。相関は対称ですが、回帰では $X$ と $Y$ の役割が非対称です。

関連教材（青の統計学）

• 共分散と相関係数をわかりやすく解説 - 2変数間の関係性を測る指標
• 相関係数と共分散（動画）
• 3D確率分布可視化ツール

2. 単回帰モデル

単回帰モデルは、1つの説明変数 $x_i$ で目的変数 $y_i$ を説明します。

• $\beta_0$：切片。$x=0$ のときの平均的な $y$
• $\beta_1$：傾き。$x$ が1増えたときの $y$ の平均的な変化量
• $\varepsilon_i$：誤差項。モデルで説明できない部分

推定された回帰直線は

と書きます。

誤差項は何を表しているのか

誤差項 $\varepsilon_i$ は、単なる計算ミスではありません。説明変数 $x_i$ だけでは説明できない要因、測定誤差、偶然の揺れなどをまとめたものです。

回帰分析では、$x$ と $y$ の関係を直線で近似します。しかし現実のデータが完全に直線上に並ぶことはほとんどありません。その直線からのズレを、残差や誤差として扱います。

回帰係数の解釈

たとえば、学習時間 $x$ と得点 $y$ の回帰式が

なら、学習時間が1時間増えると、平均的に得点が4点高いと解釈します。ただし、観察データの回帰だけで「学習時間を1時間増やせば必ず4点上がる」という因果効果までは言えません。

3. 最小二乗法と残差

残差は、観測値と予測値の差です。

最小二乗法は、残差平方和を最小にするように回帰係数を決めます。

残差をそのまま足すと正負が打ち消し合うため、二乗してから合計します。回帰直線は、すべての点に完全に一致する線ではなく、残差平方和が最も小さくなる線です。

なぜ残差の絶対値ではなく二乗を使うのか

残差の絶対値を最小にする考え方もありますが、二乗を使うと数式として扱いやすくなります。特に、微分して最小値を求めやすく、回帰係数の推定式をきれいに導けます。

また、大きな残差をより強く罰するため、外れた点の影響が大きくなります。この性質は便利な一方、外れ値に弱いという注意点にもつながります。

[図1] 回帰直線と残差

関連教材（青の統計学）

• 【機械学習】単回帰分析をわかりやすく解説|python
• 回帰分析入門（動画）
• 残差分析とは？（動画）

4. TSS、ESS、RSS と決定係数

回帰分析では、目的変数 $y$ の全体のばらつきを「モデルで説明できる部分」と「説明できない部分」に分けます。

切片を含む通常の最小二乗回帰では、次の分解が成り立ちます。

決定係数は、全変動のうちモデルで説明できた割合です。

記号の注意: 教材によっては ESS を Error Sum of Squares（残差平方和）の意味で使うことがあります。略号だけで判断せず、全変動＝回帰変動＋残差変動という分解と、各平方和の定義式を確認してください。

$TSS=ESS+RSS$ が成り立つ条件

この分解は、切片を含む通常の最小二乗回帰で成り立ちます。回帰直線が平均 $\bar{y}$ を基準にして、目的変数のばらつきを「説明できた部分」と「残った部分」に直交的に分けるためです。

切片を含まないモデルや特殊なモデルでは、同じ形の分解がそのまま成り立たない場合があります。統計検定2級では、通常の切片あり回帰を前提にして $R^2$ を読むのが基本です。

決定係数の注意点

$R^2$ が高いほど、標本データへの当てはまりはよいといえます。しかし、次の点に注意が必要です。

• 高い $R^2$ は因果関係を意味しない
• 高い $R^2$ は将来データへの予測精度を保証しない
• 説明変数を増やすと $R^2$ は下がりにくい

関連教材（青の統計学）

• 【R^2】決定係数をわかりやすく説明|python
• 決定係数とは？（動画）

5. 回帰係数の検定

単回帰では、説明変数が目的変数に線形な関係を持つかを、傾き $\beta_1$ で検定します。

検定統計量は、推定された係数をその標準誤差で割った形です。

帰無仮説のもとで、この統計量は自由度 $n-2$ の t 分布を参照します。$n-2$ になるのは、切片と傾きの2つのパラメータを推定しているためです。

傾きの検定で何を見ているのか

傾き $\beta_1=0$ なら、説明変数 $X$ が変わっても目的変数 $Y$ の平均は変わらない、という線形関係のない状態を表します。

検定統計量は、推定された傾きが0からどれくらい離れているかを、その推定誤差で割ったものです。傾きが大きくても標準誤差が大きければ、有意とは言いにくくなります。

6. 偏相関係数

偏相関係数は、第三の変数の影響を取り除いたうえで、2変数の関係を測る指標です。

3変数 $X,Y,Z$ の相関係数をそれぞれ $r_{xy}, r_{xz}, r_{yz}$ とすると、$Z$ の影響を取り除いた $X$ と $Y$ の偏相関係数は次の形で表されます。

直感的には、$X$ と $Y$ をそれぞれ $Z$ で回帰し、その残差どうしの相関を見る操作です。

たとえば、年齢と収入の相関を調べるとき、教育年数が両方に影響しているなら、教育年数を調整した偏相関を見ることで、単純相関とは違う関係が見えることがあります。

関連教材（青の統計学）

• 【統計検定】偏相関係数の概念と計算方法 - 多変量解析の基礎
• 【外れ値に対処】順位相関係数と相関係数の違いについて | python

確認問題

問題1

ある単回帰で $TSS=200$、$RSS=50$ だった。決定係数を求めてください。

問題2

単回帰で標本サイズが $n=20$ のとき、傾きの t 検定で使う自由度を求めてください。

まとめ

次章では、説明変数が複数ある重回帰と、モデル評価の考え方を扱います。

この章のあとに解きたい演習

本文を読んだら、次の問題で「公式を選ぶ」「条件を読む」「計算する」練習に移りましょう。

• regression-001: 単回帰分析の基礎
• regression-002: 回帰係数の推定
• regression-003: 決定係数
• regression-004: 回帰係数の検定