ベイズ統計・共役事前分布・階層ベイズ

Stage 6 — 第1章 | 統計検定準1級チートシート推定学習時間：100〜120分 | 難易度：★★★★☆

このページで押さえること

ベイズ統計では、母数を固定された未知定数ではなく、確率分布で表す対象として扱います。準1級では、ベイズの定理そのものより、尤度、事前分布、事後分布、共役性、階層構造を式でつなげることが重要です。

このページを終えると、こんなことができるようになります：

ベイズ更新を「事後分布 ∝ 尤度 × 事前分布」として書ける
ベータ二項、ガンマポアソン、正規正規の共役更新を説明できる
事後平均、事後モード、信用区間を頻度論の推定と区別できる
事前分布の強さを擬似標本サイズとして読める
階層ベイズを部分プーリングとして説明できる

2級ではここまで、準1級ではここが増える

2級では、ベイズの定理は「条件の向きを反転する確率計算」として、検査問題などの数値計算で登場するのが中心でした。母数は固定された未知の定数として扱います。

準1級では、母数 $\theta$ そのものを確率分布で表す対象として扱い、観測でその分布を更新する枠組みに進みます。

観点	2級でのレベル	準1級で増える点
母数の見方	固定された未知定数	確率分布を持つ対象（事前→事後）
ベイズの定理	事象の確率計算	事後分布 ∝ 尤度 × 事前分布
推定・区間	点推定・信頼区間	事後平均・事後モード・信用区間
構造	（扱わない）	共役性・階層ベイズ（部分プーリング）

つまり準1級では「分母で正規化して終わり」ではなく、事前分布の選び方・更新の閉じ方・グループ間の情報共有まで式で説明できることが問われます。差がつくのは、信用区間を頻度論の信頼区間と取り違えない判断と、共役更新を分布名の暗記ではなく指数部の足し算として導ける力です。

1. ベイズ更新の基本形

母数を $\theta$、データを $x$ とします。ベイズの定理は、

p(\theta\mid x)=\frac{p(x\mid \theta)p(\theta)}{p(x)}

です。ここで、

$p(\theta)$ は事前分布
$p(x\mid \theta)$ は尤度
$p(\theta\mid x)$ は事後分布
$p(x)$ は周辺尤度

です。

母数 $\theta$ の関数として見ると、$p(x)$ は正規化定数なので、

p(\theta\mid x)\propto p(x\mid \theta)p(\theta)

と書けます。これがベイズ更新の中心です。

📘 前提知識：共役性は「更新しても同じ形に戻る」性質

ベータ分布に二項尤度を掛けると、またベータ分布の形になります。これは、成功回数や失敗回数が事前分布の指数部分に足されるためです。分布名の丸暗記ではなく、尤度と事前分布のどの部分が足し合わされるかを見ると更新式を忘れにくくなります。

2. ベイズ推定量

📘 前提知識：信用区間と信頼区間は「確率を付ける対象」が違う

頻度論の信頼区間は、母数を固定した上で「区間の側」がランダムだと考え、同じ手順を繰り返すと95%が母数を含む、と読みます。ベイズの信用区間は、観測後の事後分布の上で「母数の側」を確率変数として見て、母数が区間に入る確率が95%だと読みます。同じ「95%区間」でも、何をランダムとみなしているかが逆向きなので、解釈を混同しないことが要点です。

事後分布が得られると、代表値を推定量として使えます。

推定量	定義	損失との関係
事後平均	$E[\theta\mid x]$	二乗損失で最適
事後中央値	median$(\theta\mid x)$	絶対損失で最適
事後モード	$\arg\max_\theta p(\theta\mid x)$	0-1型の直感

頻度論の信頼区間と異なり、ベイズの信用区間は、事後分布の下で母数が区間に入る確率として読めます。たとえば95%信用区間 $C$ は、

P(\theta\in C\mid x)=0.95

を満たします。この確率は事後分布の上での確率なので、「いま得た区間に母数が入る確率」と素直に読めます。区間の作り方には、等裾の信用区間と、密度が高い点を集めるHPD区間があります。

関連教材（青の統計学）

HPD区間／信頼区間と信用区間の違い（動画）

統計学応用ベイズ統計の演習

3. ベータ二項モデル

二項データ

X\mid p\sim Bin(n,p)

を考えます。事前分布にベータ分布

p\sim Beta(\alpha,\beta)

を置きます。尤度は、

L(p)\propto p^x(1-p)^{n-x}

事前分布は、

\pi(p)\propto p^{\alpha-1}(1-p)^{\beta-1}

です。掛け合わせると、

\pi(p\mid x)\propto p^{x+\alpha-1}(1-p)^{n-x+\beta-1}

なので、

p\mid x\sim Beta(\alpha+x,\beta+n-x)

です。

$\alpha,\beta$ は、成功・失敗の擬似カウントとして読めます。事後平均は、

E[p\mid x]=\frac{\alpha+x}{\alpha+\beta+n}

です。標本比率 $x/n$ と事前平均 $\alpha/(\alpha+\beta)$ の間に縮む形になります。 $n$ が大きいほどデータの重みが増し、事後平均は標本比率へ近づきます。

関連教材（青の統計学）

ベータ分布（動画）

母比率の推定と検定（動画）

統計学応用ベイズ統計の演習

4. ガンマポアソンモデル

ポアソンデータ

X_i\mid \lambda\sim Poisson(\lambda)

を考えます。観測合計を

S=\sum_{i=1}^{n}X_i

とします。尤度は、

L(\lambda)\propto \lambda^S e^{-n\lambda}

です。事前分布にガンマ分布

\lambda\sim Gamma(\alpha,\beta)

を置きます。ここではrate母数化で、

\pi(\lambda)\propto \lambda^{\alpha-1}e^{-\beta\lambda}

とします。事後分布は、

\lambda\mid x\sim Gamma(\alpha+S,\beta+n)

です。

rateとscaleの母数化は教材で異なるため、ガンマ分布では必ず定義を確認します。

5. 正規正規モデル

母分散 $\sigma^2$ 既知で、

X_i\mid \mu\sim N(\mu,\sigma^2)

とします。事前分布を

\mu\sim N(\mu_0,\tau_0^2)

とします。事後分布も正規分布になります。

事後分散は、

\tau_n^2= \left(\frac{1}{\tau_0^2}+\frac{n}{\sigma^2}\right)^{-1}

です。事後平均は、

\mu_n= \tau_n^2\left(\frac{\mu_0}{\tau_0^2}+\frac{n\bar x}{\sigma^2}\right)

です。これは、事前平均 $\mu_0$ と標本平均 $\bar x$ を精度で重み付けした平均です。精度とは分散の逆数です。

\text{precision}=\frac{1}{\text{variance}}

事前の分散が小さいほど、事前平均の重みが大きくなります。

次の図では、事前分布がデータの尤度によってどの方向へ更新されるかを見る。

事前分布、尤度、事後分布の密度曲線を重ね、データによって事前分布が更新される流れを示す図

事後分布は、事前分布に尤度を掛けて正規化したものとして読む。

尤度だけで決まるのではなく、事前分布の広さや中心も事後分布へ反映される。共役更新では、この更新が同じ分布族のパラメータ更新として閉じる。

次の図では、代表的な共役ペアを分布名ではなく、何が事前パラメータに足されるかで比較する。

ベータ二項、ガンマポアソン、正規正規の共役更新を、成功失敗カウント、発生回数と観測量、精度重みの足し算として比較する図

共役更新は、カウント、観測量、精度を事前パラメータへ足す形で読める。

二項では成功・失敗カウント、ポアソンでは発生回数と観測量、正規平均では精度が更新の単位になる。

6. 共役事前分布

事前分布と事後分布が同じ分布族になるとき、事前分布を共役事前分布と呼びます。

尤度	共役事前分布	事後更新の見方
Bernoulli/Binomial	Beta	成功・失敗カウントを足す
Poisson	Gamma	発生回数と観測量を足す
Normal平均・分散既知	Normal	精度で重み付け
Multinomial	Dirichlet	各カテゴリカウントを足す

共役分布は計算が簡単で、ベイズ更新の構造を理解しやすいです。ただし、現実の分析では共役性だけで事前分布を選ぶのではなく、知識や頑健性も考慮します。

7. 周辺尤度と予測分布

周辺尤度は、

p(x)=\int p(x\mid\theta)p(\theta)\,d\theta

です。これは、母数を事前分布で平均したデータの確率です。モデル比較のベイズファクターで使われます。

事後予測分布は、新しいデータ $x_{\mathrm{new}}$ に対して、

p(x_{\mathrm{new}}\mid x) =\int p(x_{\mathrm{new}}\mid\theta)p(\theta\mid x)\,d\theta

です。母数の不確実性を平均して予測する点が重要です。

8. 階層ベイズ

階層ベイズでは、個別の母数にさらに上位の分布を置きます。たとえば、グループ $j$ の効果を

\theta_j\mid \mu,\tau^2\sim N(\mu,\tau^2)

とし、さらに

\mu,\tau^2

にも事前分布を置きます。

階層モデルでは、各グループの推定が全体平均へ縮みます。これを部分プーリングと呼びます。標本サイズが小さいグループほど、全体平均の影響を強く受けます。

完全プーリングは全グループを同じ母数で扱い、非プーリングは各グループを完全に別々に推定します。階層ベイズはその中間です。

次の図では、完全プーリング、非プーリング、部分プーリングの推定値の違いを見る。

完全プーリング、非プーリング、部分プーリングでグループ別推定値が全体平均へ縮む様子を示す図

階層ベイズは、グループ差を認めつつ全体分布から情報を借りるため、小標本グループほど全体平均へ縮みやすい。

完全プーリングは安定するがグループ差を無視しやすい。非プーリングは柔軟だが小標本グループで不安定になりやすい。部分プーリングはその中間であり、固定効果の寄せ集めではなく、グループ間で情報共有するモデルとして読む。

9. 小さな計算例：ベータ二項の事後更新

ベータ二項の共役更新を、数値で確認します。事前分布を $Beta(2,2)$（成功・失敗をそれぞれ擬似的に2回ずつ見た状態）とします。 $n=10$ 回中 $x=7$ 回成功したとすると、事後分布は

p\mid x\sim Beta(\alpha+x,\ \beta+n-x)=Beta(2+7,\ 2+3)=Beta(9,5)

です。事後平均は、

E[p\mid x]=\frac{\alpha+x}{\alpha+\beta+n}=\frac{9}{14}\approx0.643

です。比べると、事前平均は $2/4=0.5$、標本比率は $7/10=0.7$ で、事後平均 $0.643$ はその間に位置します。事前分布が成功・失敗を2回ずつ見たぶんの重み（擬似標本サイズ $\alpha+\beta=4$）を持つため、標本比率 $0.7$ が事前平均 $0.5$ 側へ少し引き戻されています。データを増やす（$n$ を大きくする）ほど擬似標本の相対的な重みが下がり、事後平均は標本比率へ寄っていきます。

10. 問題文トリガー辞書

問題文の表現	選ぶ論点	見る式	典型ミス
「事前・尤度・事後」	ベイズ更新	posterior ∝ likelihood × prior	正規化定数を母数依存と考える
「二項とベータ」	共役更新	$Beta(\alpha+x,\beta+n-x)$	成功失敗の足し方を逆にする
「ポアソンとガンマ」	共役更新	$Gamma(\alpha+S,\beta+n)$	rate/scaleを混同
「正規平均」	精度重み	$1/\tau^2$	分散でそのまま重み付け
「信用区間」	ベイズ区間	$P(\theta\in C\mid x)$	信頼区間と同一視
「グループ差」	階層ベイズ	部分プーリング	完全プーリングと混同

11. 典型ミス・ひっかけ

ミス	なぜ危ないか	防ぎ方
事後分布を尤度だけで作る	事前分布が抜ける	尤度×事前を書く
ベイズ信用区間を頻度論の被覆確率で説明する	条件付けが違う	$P(\theta\mid x)$ で読む
共役分布を名前だけで覚える	パラメータ更新を間違える	べきと指数部を見る
ガンマ分布の母数化を確認しない	rate/scaleで更新式が変わる	密度の形を書く
階層ベイズを単なる固定効果モデルと考える	上位分布で情報共有する	部分プーリングを見る

12. 解法テンプレ

ベイズの問題では、次の順で処理します。

何を母数 $\theta$ とし、何がデータ $x$ かを決める。
尤度 $p(x\mid\theta)$ と事前分布 $p(\theta)$ を、$\theta$ の関数として書く。
事後分布 ∝ 尤度 × 事前分布を作り、$\theta$ に依存しない正規化定数は後回しにする。
べき・指数部の形から、共役なら事後分布の分布族とパラメータを読み取る。
必要な代表値（事後平均・事後モード）や信用区間を、事後分布から取り出す。
信用区間は「母数が区間に入る確率」であり、頻度論の信頼区間とは解釈が違う点を確認する。
グループ構造があるなら、完全／非／部分プーリングのどれかを判断し、階層ベイズなら情報共有を意識する。

13. ここで1問

共役更新を一度手で導いたら、演習で「何が事前パラメータに足されるか」を意識して解きます。

このページの確認問題

統計学応用ベイズ統計の演習

まず解く: ベータ二項、ガンマポアソン、正規正規、信用区間

目標: 共役更新を分布名ではなく指数の足し算として導ける

関連教材（青の統計学）

ベータ分布（動画）

HPD区間／信頼区間と信用区間の違い（動画）

統計学応用ベイズ統計の演習

14. 次に読むページ

次は、MCMC、モンテカルロ、ブートストラップ、欠測、EM、ロバスト統計、情報理論を扱います。準1級の最後に拾うべき発展論点を、試験で判断できる単位に整理します。

MCMC・ブートストラップ・欠測・EM・ロバスト統計・情報理論