青の統計学-DS Playground-

第6章:分散分析(ANOVA)

Stage 5:回帰・分散分析・応用


この章で学ぶこと

「3種類の肥料で育てた植物の収穫量に差があるか」「性別と年代の組み合わせによって購買行動が変わるか」——3群以上の平均を比較したり、2つの要因の効果と交互作用を分析するのが分散分析(ANOVA: Analysis of Variance)です。

この章では、一元配置 ANOVA(要因1つ)と二元配置 ANOVA(要因2つ+交互作用)を手計算レベルで理解します。


1. なぜ ANOVA か

多重 t 検定の問題

3グループ A・B・C の平均を比較したいとき、t 検定を3回(A-B、A-C、B-C)繰り返すとどうなるか。

各検定の有意水準を $\alpha = 0.05$ とすると、「少なくとも1つ誤って棄却してしまう確率」は:

$1 - (1-0.05)^3 = 1 - 0.857 = 0.143 \approx 14\%$

比較の数が増えるほどこの確率は膨張します。$k$ 群では $\binom{k}{2}$ 回の検定が必要になります。

ANOVA は1回の検定で「全群の平均が等しいか」を判断することで、この問題を回避します。


2. 一元配置 ANOVA

関連教材(青の統計学)

モデル

$k$ 群、第 $i$ 群に $n_i$ 個の観測値があるとき:

$y_{ij} = \mu + \alpha_i + \varepsilon_{ij} \quad (i = 1,\ldots,k;\ j = 1,\ldots,n_i)$

  • $\mu$:全体平均
  • $\alpha_i$:第 $i$ 群の効果($\sum \alpha_i = 0$ の制約)
  • $\varepsilon_{ij} \sim N(0, \sigma^2)$:誤差項(独立・等分散)

仮説

$H_0: \alpha_1 = \alpha_2 = \cdots = \alpha_k = 0 \quad \text{(全群の平均が等しい)}$ $H_1: \text{少なくとも1つの } \alpha_i \neq 0$

分散分解

$y$ の全変動(SST)を「群間変動(SSB)」と「群内変動(SSW)」に分解します。

$\underbrace{\sum_{i=1}^{k}\sum_{j=1}^{n_i}(y_{ij} - \bar{y})^2}_{\text{SST(全変動)}} = \underbrace{\sum_{i=1}^{k} n_i(\bar{y}_i - \bar{y})^2}_{\text{SSB(群間変動)}} + \underbrace{\sum_{i=1}^{k}\sum_{j=1}^{n_i}(y_{ij} - \bar{y}_i)^2}_{\text{SSW(群内変動)}}$

  • $\bar{y}$:全体平均
  • $\bar{y}_i$:第 $i$ 群の群平均
  • SSB:群間変動。群平均が全体平均からどれだけ離れているかを表す(「要因の効果」)
  • SSW:群内変動。各群内でのばらつきを表す(「ランダム誤差」)

SST = SSB + SSW

平均二乗(MS)と F 統計量

変動要因 平方和 自由度 平均二乗 F 値
群間(Between) SSB $k-1$ $\text{MSB} = \text{SSB}/(k-1)$ $F = \text{MSB}/\text{MSW}$
群内(Within) SSW $N-k$ $\text{MSW} = \text{SSW}/(N-k)$
合計 SST $N-1$

($N = \sum n_i$:総標本サイズ)

F 統計量は自由度 $(k-1, N-k)$ の F 分布に従います。

直感的な解釈:MSB は「群間のばらつき」、MSW は「群内のばらつき(誤差)」の推定量です。帰無仮説が正しければ $F \approx 1$、群間に真の差があれば $F \gg 1$ になります。

手計算例

3種類の肥料(A・B・C)で育てた植物の収穫量(kg):

肥料A 肥料B 肥料C
5 8 6
7 10 5
6 9 7

$n_1 = n_2 = n_3 = 3$、$N = 9$、$k = 3$

群平均の計算

$\bar{y}_A = 6,\quad \bar{y}_B = 9,\quad \bar{y}_C = 6$

全体平均

$\bar{y} = \frac{5+7+6+8+10+9+6+5+7}{9} = \frac{63}{9} = 7$

SSB(群間変動)

$\text{SSB} = 3(6-7)^2 + 3(9-7)^2 + 3(6-7)^2 = 3(1) + 3(4) + 3(1) = 18$

SSW(群内変動)

$\text{SSW} = (5-6)^2+(7-6)^2+(6-6)^2 + (8-9)^2+(10-9)^2+(9-9)^2 + (6-6)^2+(5-6)^2+(7-6)^2$ $= (1+1+0) + (1+1+0) + (0+1+1) = 2+2+2 = 6$

SST の確認:$\text{SST} = \text{SSB} + \text{SSW} = 18 + 6 = 24$

ANOVA テーブル

変動要因 SS df MS F
群間 18 2 9.0 9.0
群内 6 6 1.0
合計 24 8

判定:$F_{0.05}(2,6) = 5.14$(F分布表より)。$F = 9.0 > 5.14$ なので帰無仮説を棄却。有意水準5%で、3種類の肥料の間に平均収穫量の差があります。


3. 群平均の点推定と信頼区間

点推定

第 $i$ 群の母平均 $\mu_i = \mu + \alpha_i$ の点推定量は群平均です:

$\hat{\mu}_i = \bar{y}_i$

群平均の信頼区間

$\bar{y}_i \pm t_{\alpha/2}(N-k) \cdot \sqrt{\frac{\text{MSW}}{n_i}}$

  • $\text{MSW}$(群内平均二乗)は $\sigma^2$ の推定量
  • 自由度は群内の自由度 $N-k$

上の例で肥料Bの95%信頼区間($t_{0.025}(6) = 2.447$):

$9 \pm 2.447 \times \sqrt{\frac{1.0}{3}} = 9 \pm 2.447 \times 0.577 = 9 \pm 1.41$

$\Rightarrow (7.59,\ 10.41)$

群平均の差の信頼区間

第 $i$ 群と第 $j$ 群の差 $\mu_i - \mu_j$ の推定と信頼区間:

$(\bar{y}_i - \bar{y}_j) \pm t_{\alpha/2}(N-k) \cdot \sqrt{\text{MSW}\left(\frac{1}{n_i} + \frac{1}{n_j}\right)}$

肥料A と肥料B の差の95%信頼区間

$(6-9) \pm 2.447 \times \sqrt{1.0 \times \left(\frac{1}{3}+\frac{1}{3}\right)} = -3 \pm 2.447 \times 0.816 = -3 \pm 2.00$

$\Rightarrow (-5.00,\ -1.00)$

信頼区間が 0 を含まないため、肥料Aと肥料Bの収穫量には有意な差があります。


4. 二元配置 ANOVA

概要

2つの要因(Factor A と Factor B)がそれぞれ目的変数に与える効果と、2つの要因の組み合わせ効果(交互作用)を同時に分析します。

モデル

Factor A が $a$ 水準、Factor B が $b$ 水準、各セルに $n$ 個の繰り返し観測がある場合:

$y_{ijk} = \mu + \alpha_i + \beta_j + (\alpha\beta)_{ij} + \varepsilon_{ijk}$

  • $\alpha_i$:Factor A の主効果($i = 1,\ldots,a$)
  • $\beta_j$:Factor B の主効果($j = 1,\ldots,b$)
  • $(\alpha\beta)_{ij}$:A と B の交互作用効果
  • $\varepsilon_{ijk} \sim N(0,\sigma^2)$:誤差

分散分解

$\text{SST} = \text{SSA} + \text{SSB} + \text{SS(AB)} + \text{SSE}$

記号 意味
SSA Factor A の主効果による変動
SSB Factor B の主効果による変動
SS(AB) A×B の交互作用による変動
SSE 誤差変動(群内変動)

各平方和の計算式

全体平均を $\bar{y}$、Factor A の第 $i$ 水準平均を $\bar{y}_{i\cdot\cdot}$、Factor B の第 $j$ 水準平均を $\bar{y}_{\cdot j\cdot}$、セル $(i,j)$ の平均を $\bar{y}_{ij\cdot}$ とします。

$\text{SSA} = bn\sum_{i=1}^{a}(\bar{y}_{i\cdot\cdot} - \bar{y})^2$

$\text{SSB} = an\sum_{j=1}^{b}(\bar{y}_{\cdot j\cdot} - \bar{y})^2$

$\text{SS(AB)} = n\sum_{i=1}^{a}\sum_{j=1}^{b}(\bar{y}_{ij\cdot} - \bar{y}_{i\cdot\cdot} - \bar{y}_{\cdot j\cdot} + \bar{y})^2$

$\text{SSE} = \sum_{i,j,k}(y_{ijk} - \bar{y}_{ij\cdot})^2$

交互作用項 $(\bar{y}_{ij\cdot} - \bar{y}_{i\cdot\cdot} - \bar{y}_{\cdot j\cdot} + \bar{y})$ の意味

交互作用の平方和は「セル平均から、A の主効果と B の主効果を取り除いた残り」です。

$\underbrace{\bar{y}_{ij\cdot}}_{\text{セル平均}} - \underbrace{\bar{y}_{i\cdot\cdot}}_{\text{A の効果}} - \underbrace{\bar{y}_{\cdot j\cdot}}_{\text{B の効果}} + \underbrace{\bar{y}}_{\text{全体平均(引きすぎた分を戻す)}}$

この値が大きい(= ゼロから離れている)ほど、A と B の間に交互作用があります。

ANOVA テーブル(二元配置)

変動要因 SS df MS F
A(主効果) SSA $a-1$ SSA/$(a-1)$ MSA/MSE
B(主効果) SSB $b-1$ SSB/$(b-1)$ MSB/MSE
A×B(交互作用) SS(AB) $(a-1)(b-1)$ SS(AB)$/[(a-1)(b-1)]$ MSAB/MSE
誤差 SSE $ab(n-1)$ SSE$/[ab(n-1)]$
合計 SST $abn-1$

5. 交互作用の計算と解釈

手計算例

施肥量(A:少・多)と水やり頻度(B:低・高)が収穫量(kg)に与える効果を調べた。各セル2回繰り返し。

水やり低(B1) 水やり高(B2)
施肥少(A1) 4, 6(平均5) 8, 10(平均9)
施肥多(A2) 10, 8(平均9) 12, 14(平均13)

各平均の計算

  • $\bar{y}_{11\cdot} = 5$、$\bar{y}_{12\cdot} = 9$、$\bar{y}_{21\cdot} = 9$、$\bar{y}_{22\cdot} = 13$
  • $\bar{y}_{1\cdot\cdot} = (5+9)/2 = 7$(施肥少の行平均)
  • $\bar{y}_{2\cdot\cdot} = (9+13)/2 = 11$(施肥多の行平均)
  • $\bar{y}_{\cdot 1\cdot} = (5+9)/2 = 7$(水やり低の列平均)
  • $\bar{y}_{\cdot 2\cdot} = (9+13)/2 = 11$(水やり高の列平均)
  • $\bar{y} = (5+9+9+13)/4 = 9$(全体平均)

SSA(施肥量の主効果)($b=2, n=2$):

$\text{SSA} = bn\sum_{i}(\bar{y}_{i\cdot\cdot} - \bar{y})^2 = 2 \times 2 \times [(7-9)^2 + (11-9)^2] = 4 \times (4+4) = 32$

SSB(水やりの主効果)($a=2, n=2$):

$\text{SSB} = an\sum_{j}(\bar{y}_{\cdot j\cdot} - \bar{y})^2 = 2 \times 2 \times [(7-9)^2 + (11-9)^2] = 32$

SS(AB)(交互作用)($n=2$):

各セルの交互作用成分:

$(\bar{y}_{ij\cdot} - \bar{y}_{i\cdot\cdot} - \bar{y}_{\cdot j\cdot} + \bar{y})$

  • $(i,j)=(1,1)$:$5 - 7 - 7 + 9 = 0$
  • $(i,j)=(1,2)$:$9 - 7 - 11 + 9 = 0$
  • $(i,j)=(2,1)$:$9 - 11 - 7 + 9 = 0$
  • $(i,j)=(2,2)$:$13 - 11 - 11 + 9 = 0$

$\text{SS(AB)} = n\sum_{i,j}(\cdot)^2 = 2 \times (0+0+0+0) = 0$

SSE(誤差)

$\text{SSE} = (4-5)^2+(6-5)^2+(8-9)^2+(10-9)^2+(10-9)^2+(8-9)^2+(12-13)^2+(14-13)^2 = 8$

ANOVA テーブル

変動要因 SS df MS F
施肥量(A) 32 1 32.0 16.0
水やり(B) 32 1 32.0 16.0
A×B(交互作用) 0 1 0.0 0.0
誤差 8 4 2.0
合計 72 7

$F_{0.05}(1,4) = 7.71$。施肥量・水やりともに有意(F=16.0 > 7.71)。交互作用は有意でない(F=0.0)。

交互作用プロット

セル平均を折れ線グラフで描いた図を交互作用プロットと言います。

交互作用プロット

  • 交互作用なし:折れ線が平行に近い → A の効果が B の水準によらず一定
  • 交互作用あり:折れ線が交差または大きく乖離 → A の効果が B の水準によって異なる

上の例では全てのセルで施肥多→収穫量+4kg の差があり、交互作用ゼロを反映しています。

交互作用が有意なときの解釈の変化

交互作用が有意な場合、主効果(A や B)の解釈だけでは不十分です。

例:「新薬の効果(A)が男女(B)によって逆転する」場合、「薬の主効果」として平均を見るのは意味を失います。この場合は「男女別に薬の効果を評価する」(単純主効果の分析)に移行します。

交互作用が有意なとき:まず交互作用プロットで方向性を確認し、各 B 水準ごとに A の効果を個別に評価します。


6. 前提条件と多重比較

関連教材(青の統計学)

ANOVA の前提条件

条件 確認方法
正規性 残差の Q-Q プロット・Shapiro-Wilk 検定
等分散性 Levene 検定・Bartlett 検定
独立性 実験デザインの確認

多重比較(補足)

ANOVA の F 検定で有意差が出た場合、「どの群間に差があるか」を特定するには多重比較を行います。

Tukey 法:全ての対間の比較を行いながら FWER を制御。等標本サイズに最適。

$q = \frac{\bar{y}_i - \bar{y}_j}{\sqrt{\text{MSW}/n}}$

この値をスチューデント化された範囲分布(Studentized range distribution)の臨界値と比較します。

Bonferroni 法:比較数 $m$ に対して各検定の $\alpha$ を $\alpha/m$ に補正。Tukey より保守的だが汎用性が高い。


演習問題

問題1

4つの教授法(A・B・C・D)で授業を行い、それぞれ5名ずつのテスト点数を記録した($N=20$)。ANOVA の結果、SSB = 120、SSW = 160 だった。

(1) ANOVA テーブルを完成させてください。 (2) 有意水準5%で帰無仮説を検定してください($F_{0.05}(3,16) = 3.24$)。

解答を見る

(1) ANOVA テーブル

$k=4$、$N=20$、SST = SSB + SSW = 280

変動要因 SS df MS F
群間 120 3 40.0 4.0
群内 160 16 10.0
合計 280 19

$\text{MSB} = 120/3 = 40$、$\text{MSW} = 160/16 = 10$、$F = 40/10 = 4.0$

(2) 検定

$F = 4.0 > F_{0.05}(3,16) = 3.24$ なので、帰無仮説を棄却します。

有意水準5%で、4つの教授法の間に平均点の差があります。ただし「どの群間に差があるか」はこの検定だけでは分からず、多重比較が必要です。


問題2

問題1の続き。教授法Aの群平均 $\bar{y}_A = 72$、教授法Cの群平均 $\bar{y}_C = 78$、各群 $n=5$、MSW = 10 だった。

(1) 教授法Cの母平均の95%信頼区間を求めてください($t_{0.025}(16) = 2.120$)。 (2) 教授法A と C の差の95%信頼区間を求め、有意差があるか判断してください。

解答を見る

(1) 教授法Cの群平均の95%信頼区間

$\bar{y}_C \pm t_{0.025}(16) \cdot \sqrt{\frac{\text{MSW}}{n}} = 78 \pm 2.120 \times \sqrt{\frac{10}{5}} = 78 \pm 2.120 \times 1.414 = 78 \pm 3.00$

$\Rightarrow (75.0,\ 81.0)$

(2) A と C の差の95%信頼区間

$(\bar{y}_A - \bar{y}_C) \pm t_{0.025}(16) \cdot \sqrt{\text{MSW}\left(\frac{1}{n_A}+\frac{1}{n_C}\right)}$

$= (72-78) \pm 2.120 \times \sqrt{10 \times \frac{2}{5}} = -6 \pm 2.120 \times 2.0 = -6 \pm 4.24$

$\Rightarrow (-10.24,\ -1.76)$

信頼区間が 0 を含まないため、教授法A と C の間には有意差があります。教授法Cの方が平均点が有意に高いです。


問題3

農業実験で、品種(A1・A2)と栽培地域(B1・B2)の組み合わせによる収穫量を調べた(各セル $n=3$)。セル平均と全体平均は以下の通り。

B1 B2 行平均
A1 10 20 15
A2 25 15 20
列平均 17.5 17.5 17.5

(1) 各セルの交互作用成分 $(\bar{y}_{ij\cdot} - \bar{y}_{i\cdot\cdot} - \bar{y}_{\cdot j\cdot} + \bar{y})$ を計算してください。 (2) 交互作用プロットはどのような形になりますか。また、その意味を説明してください。

解答を見る

(1) 交互作用成分の計算

$\bar{y} = 17.5$

セル $(i,j)$ $\bar{y}_{ij\cdot}$ $\bar{y}_{i\cdot\cdot}$ $\bar{y}_{\cdot j\cdot}$ 交互作用成分
(A1, B1) 10 15 17.5 $10-15-17.5+17.5 = -5$
(A1, B2) 20 15 17.5 $20-15-17.5+17.5 = +5$
(A2, B1) 25 20 17.5 $25-20-17.5+17.5 = +5$
(A2, B2) 15 20 17.5 $15-20-17.5+17.5 = -5$

交互作用成分がゼロでなく、符号が逆転しています。SS(AB) = $3 \times (25+25+25+25) = 300$(大きな値)。

(2) 交互作用プロットの形と意味

折れ線は交差します。

  • B1 では A2(25)の方が A1(10)より収穫量が多い
  • B2 では A1(20)の方が A2(15)より収穫量が多い

つまり「品種の優劣が栽培地域によって逆転している」という強い交互作用があります。この場合、「品種の主効果」として単純に A1 と A2 を比較することに意味がなく、「地域B1では A2 が有利、地域B2では A1 が有利」という形で解釈しなければなりません。


まとめ

概念 内容
一元配置 ANOVA SST = SSB + SSW。$F = \text{MSB}/\text{MSW}$、自由度 $(k-1, N-k)$
群平均の信頼区間 $\bar{y}_i \pm t \cdot \sqrt{\text{MSW}/n_i}$
差の信頼区間 $(\bar{y}_i - \bar{y}_j) \pm t \cdot \sqrt{\text{MSW}(1/n_i+1/n_j)}$
二元配置 ANOVA SST = SSA + SSB + SS(AB) + SSE
交互作用項 $\bar{y}_{ij\cdot} - \bar{y}_{i\cdot\cdot} - \bar{y}_{\cdot j\cdot} + \bar{y}$。ゼロでなければ交互作用あり
交互作用が有意なとき 主効果だけで解釈しない。単純主効果を個別評価する
多重比較 Tukey 法・Bonferroni 法で FWER を制御

おつかれさまでした。これで統計学基礎カリキュラム全21ページが完成です。