第1章：相関と単回帰分析

Stage 5：回帰・分散分析・応用

この章で学ぶこと

「勉強時間が増えると成績は上がるか」「気温が上がるとアイスの売上は増えるか」——2つの変数の間にどのような関係があるかを定量的に分析する手法が、相関分析と 回帰分析 です。

この章では、2変数の関係を数値と式で表す方法を学びます。

1. 相関係数

関連教材（青の統計学）

• 相関係数と共分散（動画）
• 統計学超入門（動画）
• 共分散と相関係数をわかりやすく解説 - 2変数間の関係性を測る指標（記事）

散布図と相関の方向

2変数の関係を可視化するには散布図（scatter plot）を使います。

• 正の相関：一方が増えると他方も増える傾向
• 負の相関：一方が増えると他方は減る傾向
• 無相関：特定の傾向が見られない

Pearson の積率相関係数 r

2変数 $x$、$y$ の線形な関連の強さと方向を1つの数値で表します。

$r = \frac{\sum_{i=1}^{n}(x_i - \bar{x})(y_i - \bar{y})}{\sqrt{\sum_{i=1}^{n}(x_i - \bar{x})^2 \cdot \sum_{i=1}^{n}(y_i - \bar{y})^2}}$

分子は $x$ と $y$ の共分散（同じ方向にズレるほど大きくなる）、分母はそれぞれの標準偏差の積で正規化しています。

r の範囲と解釈

$-1 \leq r \leq 1$

この目安は分野によって異なります。社会科学では $|r| \geq 0.3$ を有意な相関とみなすことも多く、物理計測では $|r| \geq 0.99$ が求められることもあります。

相関係数の注意点

① 相関は因果ではない

「アイスの売上と溺死者数には強い正の相関がある」——しかし、アイスが溺死を引き起こすわけではありません。気温という交絡変数が両方を動かしているだけです。

相関があっても因果関係があるとは言えません（第1章で扱った交絡の問題）。

② 外れ値の影響

Pearson の r は外れ値に敏感です。たった1点の外れ値が r を大きく変えることがあります。散布図を必ず確認しましょう。

③ 線形関係のみを捉える

r は「線形な」関係の強さを測ります。$U$ 字型などの非線形関係は r に反映されないことがあります。

2. 単回帰モデル

関連教材（青の統計学）

• 回帰分析入門（動画）
• 線形回帰とは（動画）
• 【機械学習】単回帰分析をわかりやすく解説|python（記事）

モデルの形

変数 $x$（説明変数）から変数 $y$（目的変数）を予測する単回帰モデルは次の式で表します。

$y = \beta_0 + \beta_1 x + \varepsilon$

• $\beta_0$：切片（intercept）。$x = 0$ のときの $y$ の期待値
• $\beta_1$：回帰係数（slope）。$x$ が1単位増えたときの $y$ の変化量
• $\varepsilon$：誤差項（error term）。モデルで説明できない変動。$\varepsilon \sim N(0, \sigma^2)$ を仮定

最小二乗法（OLS）

データに最もよく当てはまる直線を求める方法が最小二乗法（Ordinary Least Squares）です。

残差（residual）とは、実際の値 $y_i$ と予測値 $\hat{y}_i$ の差です。

$e_i = y_i - \hat{y}_i$

最小二乗法は、残差の2乗和（RSS）を最小にする $\hat{\beta}_0$、$\hat{\beta}_1$ を求めます。

$\text{RSS} = \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 = \sum_{i=1}^{n} (y_i - \hat{\beta}_0 - \hat{\beta}_1 x_i)^2$

3. 回帰係数の推定

RSS を最小化する条件（偏微分 = 0）を解くと、推定量の公式が得られます。

回帰係数 $\hat{\beta}_1$

$\hat{\beta}_1 = \frac{\sum_{i=1}^{n}(x_i - \bar{x})(y_i - \bar{y})}{\sum_{i=1}^{n}(x_i - \bar{x})^2} = \frac{S_{xy}}{S_{xx}}$

• $S_{xy}$：$x$ と $y$ の共分散の分子（偏差積和）
• $S_{xx}$：$x$ の分散の分子（偏差平方和）

相関係数 $r$ と標準偏差の関係でも書けます：

$\hat{\beta}_1 = r \cdot \frac{s_y}{s_x}$

切片 $\hat{\beta}_0$

回帰直線は必ず $(\bar{x}, \bar{y})$ を通ります。

$\hat{\beta}_0 = \bar{y} - \hat{\beta}_1 \bar{x}$

計算例

勉強時間（$x$）と試験得点（$y$）のデータ5件：

$\bar{x} = 3$、$\bar{y} = 64$

$S_{xx} = (1-3)^2 + (2-3)^2 + (3-3)^2 + (4-3)^2 + (5-3)^2 = 4+1+0+1+4 = 10$

$S_{xy} = (1-3)(50-64) + (2-3)(55-64) + (3-3)(65-64) + (4-3)(70-64) + (5-3)(80-64)$ $= (-2)(-14) + (-1)(-9) + (0)(1) + (1)(6) + (2)(16) = 28+9+0+6+32 = 75$

$\hat{\beta}_1 = \frac{75}{10} = 7.5, \quad \hat{\beta}_0 = 64 - 7.5 \times 3 = 64 - 22.5 = 41.5$

推定された回帰式：$\hat{y} = 41.5 + 7.5x$

解釈：勉強時間が1時間増えると、試験得点は平均7.5点上がると推定されます。

4. 残差と当てはまり

残差プロット

残差 $e_i = y_i - \hat{y}_i$ を $x_i$（または $\hat{y}_i$）に対してプロットします。

良い残差プロット：ランダムに散らばっており、特定のパターンがない。

問題のある残差プロット：

• U字型・逆U字型 → 非線形関係が存在する可能性
• ラッパー状（ばらつきが大きくなる） → 分散不均一性（heteroscedasticity）
• 外れ値の存在

決定係数 $R^2$

回帰モデルが $y$ の変動をどれだけ説明できているかを示す指標です。

$R^2 = 1 - \frac{\text{RSS}}{\text{TSS}} = 1 - \frac{\sum(y_i - \hat{y}_i)^2}{\sum(y_i - \bar{y})^2}$

• $\text{TSS}$：$y$ の全変動（Total Sum of Squares）
• $\text{RSS}$：回帰で説明できなかった変動（残差平方和）

$R^2 = 0.85$ なら「$y$ の変動の85%をモデルが説明している」という意味です。

単回帰では $R^2 = r^2$（相関係数の2乗）が成り立ちます。

$R^2$ が高いからといって「良いモデル」とは限りません。変数を増やせば $R^2$ は必ず上がりますが、過学習のリスクもあります（重回帰で詳しく扱います）。

5. 回帰係数の検定

$\hat{\beta}_1$ はデータから推定した値です。「母集団では $\beta_1 = 0$（$x$ と $y$ に線形関係がない）ではないか」を検定します。

検定統計量

$t = \frac{\hat{\beta}_1}{\text{SE}(\hat{\beta}_1)}, \quad \text{SE}(\hat{\beta}_1) = \frac{s}{\sqrt{S_{xx}}}$

• $s = \sqrt{\text{RSS}/(n-2)}$：残差の標準誤差（自由度 $n-2$）
• この統計量は自由度 $n-2$ の $t$ 分布に従います

仮説

$H_0: \beta_1 = 0 \quad \text{（}x\text{ は }y\text{ を予測しない）}$ $H_1: \beta_1 \neq 0$

$p < 0.05$ なら $\beta_1 = 0$ を棄却でき、「$x$ は $y$ の有意な予測因子だ」と言えます。

演習問題

問題1

次のデータについて Pearson の相関係数 $r$ を計算してください。

問題2

以下のデータから単回帰式 $\hat{y} = \hat{\beta}_0 + \hat{\beta}_1 x$ を求め、$x = 6$ のときの予測値を計算してください。

問題3

次の記述について、正しいものには○、誤りには×をつけ、理由を説明してください。

(1) 相関係数 $r = 0.9$ なら、$x$ は $y$ の原因である。

(2) 回帰分析で $R^2 = 0.70$ は「予測の70%が正確だ」という意味である。

(3) 残差プロットにU字型のパターンが見られたら、線形モデルの当てはまりに問題がある可能性がある。

まとめ

次の章では、$R^2$・F検定・信頼区間など、回帰分析の解釈をより深く掘り下げます。