MCMC・ブートストラップ・欠測・EM・ロバスト統計・情報理論

Stage 6 — 第2章 | 統計検定準1級チートシート推定学習時間：120〜140分 | 難易度：★★★★★

このページで押さえること

このページは、準1級で最後に取りこぼしやすい計算・欠測・頑健性・情報理論をまとめます。論点は多いですが、共通する軸は「解析的に解けないものを近似する」「データ生成や汚染に対して推定をどう守る」「不確実性や分布の違いをどう測る」です。

このページを終えると、こんなことができるようになります：

モンテカルロ法とMCMCの違いを説明できる
Metropolis-HastingsとGibbsサンプリングの基本を説明できる
ブートストラップで標準誤差や信頼区間を近似できる理由を説明できる
MCAR/MAR/MNAR、EMアルゴリズムの位置づけを説明できる
ロバスト統計、エントロピー、KL情報量を最終確認できる

2級ではここまで、準1級ではここが増える

2級では、推定や検定は解析的な公式（標本平均、不偏分散、$t$ 分布、$\chi^2$ 分布など）で閉じる範囲が中心でした。欠測や外れ値、分布間の距離は、ほとんど扱いません。

準1級では、解析的に解けない量を近似する計算手法と、データの欠け・汚染・分布の違いを測る道具がまとめて加わります。

観点	2級でのレベル	準1級で増える点
計算	公式・分布表で解析的に	モンテカルロ・MCMC・ブートストラップで近似
欠測	（ほぼ扱わない）	MCAR/MAR/MNAR・EMアルゴリズム
頑健性	平均・分散を素朴に使う	破綻点・影響関数・M推定
情報	（扱わない）	エントロピー・KL情報量・相互情報量

つまり準1級では「公式に当てはめて終わり」ではなく、何を近似しているのか／どんな前提で守っているのかを説明できることが問われます。差がつくのは、MCMCのサンプルをiidと取り違えない注意と、欠測やKL情報量を「向き・依存」まで意識して扱う判断です。

1. モンテカルロ法

モンテカルロ法は、乱数を使って期待値や積分を近似する方法です。求めたい量が

\[ E[g(X)] \]

なら、独立な乱数

X_1,\dots,X_m

を発生させて、

\frac{1}{m}\sum_{i=1}^{m}g(X_i)

で近似します。大数の法則により、$m$ が大きいと真の期待値に近づきます。誤差の標準的な大きさは概ね

O(m^{-1/2})

です。

シミュレーション回数を4倍にしても、標準誤差は半分にしかなりません。ここが決定論的な数値積分と違う点です。

📘 前提知識：MCMCのサンプルは完全なiidではない

MCMCは、前の状態から次の状態を作るため、隣り合うサンプルに相関が残ります。見かけのサンプル数が多くても、独立な情報量はそれより少ないことがあります。 trace plot、自己相関、有効サンプルサイズを見るのは、そのためです。

2. MCMC

MCMCは、直接サンプリングしにくい分布から、マルコフ連鎖を使ってサンプルを得る方法です。目標分布を $\pi(x)$ とします。マルコフ連鎖の定常分布が $\pi$ になるように推移を設計し、十分長く動かした後のサンプルを $\pi$ からの近似サンプルとして使います。

通常のモンテカルロではサンプルが独立であることが多いですが、MCMCのサンプルは自己相関を持ちます。そのため、有効サンプルサイズはサンプル数より小さくなります。

バーンイン、混合、自己相関、収束診断が重要です。 MCMCは「乱数をたくさん出せば自動的に正しい」方法ではありません。

3. Metropolis-Hastings法

現在の状態を $x$ とし、提案分布

q(y\mid x)

から候補 $y$ を生成します。受理確率は、

\alpha(x,y)= \min\left\{ 1, \frac{\pi(y)q(x\mid y)}{\pi(x)q(y\mid x)} \right\}

です。候補を確率 $\alpha(x,y)$ で受理し、棄却されたら現在の状態に留まります。

提案分布が対称なら、

q(y\mid x)=q(x\mid y)

なので、

\alpha(x,y)=\min\left\{1,\frac{\pi(y)}{\pi(x)}\right\}

です。

この方法では、正規化定数が分からなくても比でキャンセルされます。ベイズ事後分布のサンプリングで重要です。

4. Gibbsサンプリング

Gibbsサンプリングは、多変量分布からのサンプリングで、各変数の完全条件付き分布から順にサンプルします。たとえば $(X,Y)$ の分布を対象にするなら、

X^{(t+1)}\sim p(X\mid Y^{(t)})

Y^{(t+1)}\sim p(Y\mid X^{(t+1)})

を繰り返します。

完全条件付き分布から簡単にサンプルできる場合に有効です。階層ベイズモデルでは、条件付き分布が共役になるように設計されることがあります。

次の図では、MCMCのサンプル列をtrace plotとして見て、バーンインと混合の悪さを確認する。

MCMCのtrace plotでバーンイン、混合、自己相関、有効サンプルサイズの低下を示す図

MCMCサンプルはiidではなく、バーンイン、混合、自己相関を確認して使う。

自己相関が強いと、サンプル数が多くても有効サンプルサイズは小さい。MHやGibbsの更新式を使う前に、MCMCは連鎖であることを押さえる。

関連教材（青の統計学）

MCMC法（動画）

統計学応用ベイズ統計の演習

5. ブートストラップ

📘 前提知識：ブートストラップは「手元のデータを母集団の代わりに使う」

本来は母集団から何度も標本を取り直せば、統計量のばらつきが分かります。しかし現実には標本は1つだけなので、その標本を「小さな母集団」とみなし、そこから復元抽出を繰り返して取り直しを擬似的に再現します。だからこそ、もとの標本が母集団をよく代表していること（iidなど）が前提になります。

ブートストラップは、観測データから復元抽出して統計量の標本分布を近似する方法です。観測データ

x_1,\dots,x_n

から、サイズ $n$ の標本を復元抽出して

x_1^*,\dots,x_n^*

を作ります。各ブートストラップ標本で統計量

\hat\theta^*

を計算し、そのばらつきから標準誤差や信頼区間を推定します。

標準誤差は、

\widehat{SE}_{boot} = \sqrt{ \frac{1}{B-1}\sum_{b=1}^{B} (\hat\theta_b^*-\bar{\theta}^*)^2 }

です。

ブートストラップは、解析的な標準誤差が難しい統計量に有効です。ただし、独立同分布の仮定が崩れる時系列やクラスターデータでは、単純な復元抽出は不適切です。

関連教材（青の統計学）

ブートストラップ法（動画）

統計学応用推定の演習

6. 欠測メカニズム

欠測には、少なくとも次の分類があります。

種類	意味	例
MCAR	欠測が観測値・未観測値に依存しない	完全にランダムな機器故障
MAR	欠測が観測済み変数に依存する	年齢で回答率が変わる
MNAR	欠測が未観測値自身に依存する	高所得者ほど所得を無回答

完全ケース分析は、欠測を含む行を削除する方法です。 MCARなら単純ですが、MARやMNARでは偏りが出ることがあります。

欠測対応には、単一代入、多重代入、尤度ベース、EMアルゴリズムなどがあります。重要なのは、欠測を単なるデータ不足ではなく、データ生成過程の一部として扱うことです。

次の図では、観測変数・未観測値・欠測指示変数の依存関係を矢印で分け、MCAR・MAR・MNARの違いを見る。

📘 前提知識：EMは「埋めて → 最尤化」を交互に繰り返す

潜在変数や欠測があると、対数尤度を直接最大化しにくくなります。 EMは、いまの母数で欠けた部分の期待値を埋め（Eステップ）、埋めたデータで尤度を最大化する（Mステップ）、を交互に行います。「足りない情報をいったん推測で補い、その補完のもとで最尤推定する」操作を繰り返す、と捉えると流れを忘れにくくなります。

7. EMアルゴリズム

EMアルゴリズムは、潜在変数や欠測データがあるモデルで最尤推定を行う反復法です。観測データを $X$、潜在変数を $Z$、母数を $\theta$ とします。完全データ対数尤度は、

\log p(X,Z\mid\theta)

です。 Eステップでは、現在の母数 $\theta^{(t)}$ の下で、完全データ対数尤度の条件付き期待値を計算します。

Q(\theta\mid\theta^{(t)}) =E_{Z\mid X,\theta^{(t)}}[\log p(X,Z\mid\theta)]

Mステップでは、

\theta^{(t+1)}=\arg\max_\theta Q(\theta\mid\theta^{(t)})

を求めます。

EMの反復は、観測データの対数尤度を単調に増加させます（各ステップで少なくとも減少しません）。ただし、収束するのは大域最適とは限らず、局所解に収束することがあり、初期値に依存します。

8. ロバスト統計

ロバスト統計は、外れ値や分布仮定の崩れに対して安定な推定を考えます。平均は外れ値に弱いですが、中央値は比較的頑健です。

代表的な概念に破綻点があります。破綻点は、推定量が任意に大きく壊れるまでに許容できる汚染割合です。平均の破綻点は非常に低く、中央値の破綻点は高いです。

M推定では、二乗損失の代わりに外れ値への影響を抑えた損失を使います。 Huber損失は、小さい残差では二乗、大きい残差では絶対値に近い挙動をします。

影響関数は、微小な汚染が推定量に与える影響を測ります。影響関数が有界なら、極端な外れ値の影響が抑えられます。

次の図では、二乗損失とHuber損失の形を並べ、大きな残差での立ち上がり方の違いを見る。

9. エントロピー

離散分布 $P$ のエントロピーは、

H(P)=-\sum_x p(x)\log p(x)

です。不確実性の大きさを表します。確率が均等に広がっているほどエントロピーは大きく、1つの値に集中していると小さくなります。

連続分布では微分エントロピーを定義できますが、離散の場合と性質が完全には同じではありません。準1級では、まず離散分布の不確実性指標として押さえます。

10. KL情報量と相互情報量

分布 $P$ から $Q$ へのKL情報量は、

D_{\mathrm{KL}}(P\|Q) =\sum_x p(x)\log\frac{p(x)}{q(x)}

です。連続型では積分で書きます。 KL情報量は非負ですが、対称ではありません。

D_{\mathrm{KL}}(P\|Q)\ne D_{\mathrm{KL}}(Q\|P)

相互情報量は、2つの確率変数の依存の強さを情報量で測ります。

I(X;Y)= \sum_x\sum_y p(x,y) \log\frac{p(x,y)}{p(x)p(y)}

これは、同時分布と独立だった場合の積分布のKL情報量です。

I(X;Y)=D_{\mathrm{KL}}(p(x,y)\|p(x)p(y))

独立なら相互情報量は0です。

11. 小さな計算例：エントロピーとKL情報量

エントロピーとKL情報量を、2点分布で数値確認します。公平なコイン $P=\mathrm{Bernoulli}(0.5)$ のエントロピーは、底を2とすると

H(P)=-0.5\log_2 0.5-0.5\log_2 0.5=1\ \text{bit}

です。確率が半々で、最も不確実な状態に対応します（同じ計算を自然対数で行うと $\ln 2\approx0.693$ ナットになります）。

次に、$P=(0.5,0.5)$ から $Q=(0.25,0.75)$ へのKL情報量を、自然対数で計算します。

D_{\mathrm{KL}}(P\|Q)=0.5\ln\frac{0.5}{0.25}+0.5\ln\frac{0.5}{0.75} =0.5\ln 2+0.5\ln\tfrac{2}{3}\approx0.144

向きを逆にすると、

D_{\mathrm{KL}}(Q\|P)=0.25\ln\frac{0.25}{0.5}+0.75\ln\frac{0.75}{0.5} =0.25\ln\tfrac{1}{2}+0.75\ln\tfrac{3}{2}\approx0.131

です。 $0.144\ne0.131$ なので、KL情報量は向きによって値が変わる非対称な量だと確認できます。「$P$ から見た $Q$ のズレ」と「$Q$ から見た $P$ のズレ」は一般に一致しない、という点が試験での要注意ポイントです。

12. 最終チェック表

問題文の表現	選ぶ論点	見る式・条件	典型ミス
「乱数で期待値近似」	モンテカルロ	標本平均	MCMCと混同
「事後分布からサンプル」	MCMC	定常分布	独立サンプルと思う
「受理確率」	Metropolis-Hastings	$\pi(y)q(x\mid y)/\pi(x)q(y\mid x)$	提案分布比を忘れる
「完全条件付き分布」	Gibbs	条件付き更新	MHと混同
「復元抽出」	ブートストラップ	$\hat\theta^*$	母集団から再抽出と思う
「欠測が未観測値に依存」	MNAR	欠測機構	MARと混同
「Eステップ/Mステップ」	EM	$Q(\theta\mid\theta^{(t)})$	事後サンプリングと混同
「外れ値に強い」	ロバスト統計	破綻点・影響関数	平均だけ使う
「不確実性」	エントロピー	$-\sum p\log p$	分散と同一視
「分布の差」	KL情報量	$E_P[\log(p/q)]$	対称距離と思う

13. 典型ミス・ひっかけ

ミス	なぜ危ないか	防ぎ方
MCMCのサンプルをiidと扱う	自己相関がある	有効サンプルサイズを見る
MH法で正規化定数が必要と思う	比でキャンセルされる	$\pi(y)/\pi(x)$ を見る
ブートストラップを時系列に単純適用する	依存構造が壊れる	ブロック法などを検討
MARを「完全ランダム」と読む	観測済み変数に依存する	MCAR/MAR/MNARを区別
EMを大域最適化と考える	局所解に収束し得る	初期値依存を確認
KL情報量をユークリッド距離のように扱う	非対称	向きを明記

14. 解法テンプレ

この章の発展論点では、次の順で「何のための手法か」を切り分けます。

求めたいものが「解析的に出せない量の近似」か「欠測・汚染への対処」か「分布の違いの測定」かを、まず分類する。
期待値・積分の近似なら、独立な乱数で足りるモンテカルロか、事後分布などからのMCMCかを選ぶ。MCMCならサンプルがiidでない点（バーンイン・自己相関・有効サンプルサイズ）を確認する。
標準誤差や信頼区間を解析的に出しにくいなら、ブートストラップを検討する。依存データには単純な復元抽出を使わない。
欠測があるなら、MCAR／MAR／MNARのどれかを判断し、必要ならEMや多重代入を選ぶ。
外れ値や分布仮定の崩れが疑われるなら、破綻点・影響関数でロバスト性を評価し、M推定などを検討する。
分布の違いや依存を測るなら、エントロピー・KL情報量・相互情報量を、向き（非対称性）に注意して使う。

15. ここで1問

発展論点は数が多いので、「いつ使うか」と「何を近似・測定するか」で引き出せるようにして演習に入ります。

このページの確認問題

統計学応用ベイズ統計の演習

統計学応用推定の演習

統計学応用モデル選択の演習

まず解く: MCMC、ブートストラップ、EM、欠測、ロバスト統計、情報量

目標: 発展論点を「いつ使うか」と「何を近似するか」で選べる

関連教材（青の統計学）

MCMC法（動画）

ブートストラップ法（動画）

統計学応用ベイズ統計の演習

16. 26ページ完走後の使い方

このページで、統計検定準1級チートシートカリキュラムの本文は一通りつながります。復習時は、次の順で戻ると効率的です。

1ページ目のチートシートで、苦手な判断表を確認する。
Stage 2で分布・標本分布の土台を確認する。
Stage 3で推定・検定理論を確認する。
Stage 4で回帰・ANOVA・標本調査を確認する。
Stage 5で多変量・分割表・時系列を確認する。
Stage 6でベイズ・計算・発展論点を最終確認する。

図版は、MCMCの混合や自己相関のように、数式だけでは直感を作りにくい箇所へ絞って配置しています。復習では、図で動きを確認してから、上のテンプレで「何を近似しているか」に戻ると整理しやすくなります。