推定量・十分統計量・順序統計量

Stage 3 — 第1章 | 統計検定準1級チートシート推定学習時間：90〜110分 | 難易度：★★★★☆

このページで押さえること

推定理論では、「何を計算するか」より先に「何を推定量と呼び、どんな情報を使っているか」を押さえる必要があります。準1級では、最尤推定量を求めるだけでなく、十分統計量、順序統計量、モーメント法、最小二乗法との関係まで問われます。

このページを終えると、こんなことができるようになります：

統計量、推定量、推定値の違いを説明できる
ネイマン分解定理で十分統計量を判定できる
順序統計量の密度と最大値・最小値の分布を導ける
最尤法、モーメント法、最小二乗法の目的関数を区別できる
指数型分布族で十分統計量が自然に出る理由を説明できる

2級ではここまで、準1級ではここが増える

2級では、推定量は「標本平均は母平均の推定量」「標本比率は母比率の推定量」のように、あらかじめ与えられた公式として扱いました。準1級では、その推定量を自分で導く道具（尤度・モーメント・最小二乗）と、標本のどの情報を使っているか（十分統計量）まで踏み込みます。

観点	2級でのレベル	準1級で増える点
推定量の作り方	公式で与えられた推定量を使う	尤度・モーメント・最小二乗から自分で導く
情報の集約	（ほぼ扱わない）	十分統計量・分解定理で「必要な情報」を見極める
標本の分布	標本平均の分布が中心	順序統計量（最大・最小・第 $k$）の分布まで扱う

つまり準1級では「公式に代入する」段階から、同時密度を眺めて推定量を導き、その推定量が標本のどの統計量に依存しているかを言える段階へ進みます。差がつくのは、十分統計量を「情報が多い統計量」と曖昧に覚えず分解定理に落とす点と、順序統計量で分布関数と密度を取り違えない点です。

1. 統計量・推定量・推定値

標本 $X_1,\dots,X_n$ から作る関数

T=T(X_1,\dots,X_n)

を統計量と呼びます。未知母数 $\theta$ を推定する目的で使う統計量を推定量と呼び、実際のデータ $x_1,\dots,x_n$ を代入した値を推定値と呼びます。

用語	意味	例
統計量	標本だけの関数	$\bar X,\ S^2,\ X_{(1)}$
推定量	母数を推定する統計量	$\hat\theta(X)$
推定値	観測値を代入した数値	$\hat\theta(x)$

重要なのは、推定量は確率変数であり、推定値は数値であることです。不偏性や分散を議論する対象は推定量です。

📘 前提知識：十分統計量は「母数に関する情報の圧縮」

標本全体を持っていなくても、ある統計量だけで母数に関する情報が足りる場合があります。たとえばベルヌーイ試行では、成功した位置の並びよりも成功回数の方が母数 $p$ について本質的です。分解定理では、尤度の母数依存部分がその統計量だけで書けるかを見ます。

2. 十分統計量の考え方

統計量 $T(X)$ が母数 $\theta$ に関して十分であるとは、$T$ を知った後の標本の条件付き分布が $\theta$ に依存しないことです。

P_\theta(X=x\mid T(X)=t)

が $\theta$ に依存しなければ、$T$ は $\theta$ に関する情報を標本から十分に集約しているといえます。

直感的には、推定に必要な情報を $T$ がすべて持っているということです。たとえばベルヌーイ標本では、成功回数

T=\sum_{i=1}^{n}X_i

が成功確率 $p$ に関して十分統計量です。標本の並び順は $p$ の推定には不要で、成功回数だけが効きます。

3. ネイマン分解定理

同時密度または同時確率関数を $f_\theta(x)$ とします。統計量 $T(x)$ が十分統計量であることは、

f_\theta(x)=g_\theta(T(x))h(x)

と分解できることと同値です。ここで、$g_\theta$ は $\theta$ と $T(x)$ に依存してよく、$h(x)$ は $\theta$ に依存してはいけません。

例：ベルヌーイ分布

$X_i\sim Bernoulli(p)$ のとき、

f_p(x)=\prod_{i=1}^{n}p^{x_i}(1-p)^{1-x_i} =p^{\sum x_i}(1-p)^{n-\sum x_i}

です。これは

g_p\left(\sum x_i\right)=p^{\sum x_i}(1-p)^{n-\sum x_i},\qquad h(x)=1

と書けるので、$\sum X_i$ は $p$ の十分統計量です。

例：正規分布

$X_i\sim N(\mu,\sigma^2)$ で $\sigma^2$ 既知なら、

\prod_{i=1}^{n}\exp\left\{-\frac{(x_i-\mu)^2}{2\sigma^2}\right\}

の指数部は

-\frac{1}{2\sigma^2}\sum x_i^2+\frac{\mu}{\sigma^2}\sum x_i-\frac{n\mu^2}{2\sigma^2}

です。 $\theta=\mu$ に関係する標本情報は $\sum X_i$ なので、$\sum X_i$ は $\mu$ の十分統計量です。

4. 指数型分布族と十分統計量

密度が

f_\theta(x)=c(\theta)d(x)\exp\left\{\sum_{j=1}^{k}Q_j(\theta)T_j(x)\right\}

と書ける分布族を指数型分布族と呼びます。独立標本では同時密度が積になるため、指数部の統計量は

\sum_{i=1}^{n}T_j(X_i)

として集約されます。

そのため、二項、ポアソン、正規、ガンマなど多くの基本分布では、和や二乗和が十分統計量として自然に現れます。準1級では、分布名だけでなく「同時密度を母数依存部分と非依存部分に分ける」ことが重要です。

次の図では、同時密度を母数 $\theta$ に依存する部分と依存しない部分に切り分け、十分統計量を読み取る流れを見る。

同時密度を母数依存部分と非依存部分に分解し十分統計量を読み取る流れ

母数を含む因子 $g_\theta(T(x))$ に現れる統計量 $T(x)$ が、十分統計量の候補になる。

同時密度を $g_\theta(T(x))h(x)$ に分解できれば、$\theta$ への依存は $T(x)$ を通してだけ入るので、$T(x)$ が十分統計量となる。

5. 順序統計量

📘 前提知識：順序統計量は「並べ替えてから何番目を見るか」

標本をそのまま見るのではなく、小さい順に並べ直してから「いちばん大きい値」「いちばん小さい値」「真ん中の値」を取り出したいことがあります。製品の最大強度、最初に故障する部品の寿命、中央値などがこれにあたります。順序統計量の分布は、「$x$ 以下の標本が何個あるか」という数え上げから出てくるので、二項分布の組合せと同じ発想で読めます。

標本を小さい順に並べたものを順序統計量と呼びます。

X_{(1)}\le X_{(2)}\le\cdots\le X_{(n)}

$X_{(1)}$ は最小値、$X_{(n)}$ は最大値です。分布関数を $F$、密度を $f$ とすると、最大値の分布関数は

P(X_{(n)}\le x)=P(X_1\le x,\dots,X_n\le x)=F(x)^n

です。最小値は

P(X_{(1)}>x)=P(X_1>x,\dots,X_n>x)=\{1-F(x)\}^n

なので、

P(X_{(1)}\le x)=1-\{1-F(x)\}^n

です。

$k$ 番目の順序統計量の密度は、

f_{X_{(k)}}(x)= \frac{n!}{(k-1)!(n-k)!} \{F(x)\}^{k-1}\{1-F(x)\}^{n-k}f(x)

です。これは「$x$ より小さい標本が $k-1$ 個、$x$ より大きい標本が $n-k$ 個、ちょうど $x$ に1個」という場合の数から出ます。係数 $\dfrac{n!}{(k-1)!\,(n-k)!}$ は、$n$ 個の標本を「$x$ 未満」「$x$ ちょうど」「$x$ 超」の3組に振り分ける多項係数です。

6. 最尤法

観測値 $x$ の下で、母数 $\theta$ の関数として見た同時密度

L(\theta)=f_\theta(x)

を尤度と呼びます。最尤推定量は、

\hat\theta_{\mathrm{MLE}}=\arg\max_\theta L(\theta)

です。積の形は扱いにくいので、対数尤度

\ell(\theta)=\log L(\theta)

を最大化します。内点解では

\frac{\partial \ell(\theta)}{\partial \theta}=0

を解きます。ただし、境界解や制約条件がある場合は、微分方程式だけでは不十分です。

二項分布 $X\sim Bin(n,p)$ なら、

\ell(p)=x\log p+(n-x)\log(1-p)+\text{const}

より、

\hat p=\frac{x}{n}

です。この式は「観測された成功割合をそのまま $p$ の推定値にする」もので、対数尤度を $p$ で微分して0と置いた結果と一致します。

関連教材（青の統計学）

尤度とは（動画）

統計学応用推定の演習

7. モーメント法

モーメント法は、母集団モーメントと標本モーメントを対応させて母数を推定します。たとえば1母数なら、

E_\theta[X]=\frac{1}{n}\sum_{i=1}^{n}X_i

を解きます。 2母数なら、平均と二次モーメントなど2本の方程式を使います。

モーメント法は計算が簡単で、初期値にも使いやすい一方、最尤法ほど効率的でない場合があります。また、どのモーメントを使うかで推定量が変わることがあります。

関連教材（青の統計学）

モーメント法（動画）

統計学応用推定の演習

8. 最小二乗法

回帰モデル

y=X\beta+\varepsilon

で、残差平方和

S(\beta)=(y-X\beta)^\top(y-X\beta)

を最小化する推定量が最小二乗推定量です。正規方程式は

X^\top X\hat\beta=X^\top y

で、$X^\top X$ が正則なら

\hat\beta=(X^\top X)^{-1}X^\top y

です。誤差が正規分布なら、最小二乗推定量は最尤推定量とも一致します。誤差が正規でなくても、平均0・等分散・無相関などの条件下で線形不偏推定量として重要です。

9. 小さな計算例：一様分布で順序統計量・十分統計量・推定法をつなぐ

ここまでの「十分統計量・順序統計量・最尤法・モーメント法」を、1つの例でつなげます。 $X_1,\dots,X_n$ が独立に区間 $(0,\theta)$ 上の一様分布に従うとします。

同時密度は、すべての観測値が $0$ 以上 $\theta$ 以下のときに $\theta^{-n}$、そうでなければ $0$ です。最大値を $X_{(n)}$ と書くと、

f_\theta(x)=\theta^{-n}\,\mathbf{1}\{x_{(n)}\le\theta\}\,\prod_{i=1}^{n}\mathbf{1}\{x_i\ge 0\}

と書けます。「全員が $\theta$ 以下」という条件は「最大値が $\theta$ 以下」と同じなので、$x_{(n)}$ だけで母数依存部分が決まります。

十分統計量。 ネイマン分解で、

g_\theta(x_{(n)})=\theta^{-n}\,\mathbf{1}\{x_{(n)}\le\theta\},\qquad h(x)=\prod_{i=1}^{n}\mathbf{1}\{x_i\ge 0\}

と読めるので、最大値 $X_{(n)}$ が $\theta$ の十分統計量です。

最尤推定量。 $\theta\ge x_{(n)}$ の範囲で $L(\theta)=\theta^{-n}$ は $\theta$ について減少するので、許される最小の $\theta$ で最大になります。よって

\hat\theta_{\mathrm{MLE}}=X_{(n)}

です。順序統計量の最大値がそのまま最尤推定量として現れます。

モーメント法。 一様分布の平均は $E[X]=\theta/2$ なので、$\theta/2=\bar X$ を解いて

\hat\theta_{\mathrm{MM}}=2\bar X

です。

2つの推定量は別物で、$\hat\theta_{\mathrm{MLE}}=X_{(n)}$ は必ず $\theta$ 以下になる（平均的にやや小さい）一方、$\hat\theta_{\mathrm{MM}}=2\bar X$ は平均的にちょうど $\theta$ になります。

ステップ	確認したこと
同時密度	$f_\theta(x)=\theta^{-n}\mathbf{1}\{x_{(n)}\le\theta\}$（$x_i\ge0$）
十分統計量	分解定理より $X_{(n)}$
最尤推定量	$L$ が減少 → $\hat\theta_{\mathrm{MLE}}=X_{(n)}$
モーメント法	$E[X]=\theta/2$ → $\hat\theta_{\mathrm{MM}}=2\bar X$

この例は、十分統計量・順序統計量・最尤法・モーメント法が1つの分布で結びつくことを示します。試験では「台が母数に依存する分布」は微分だけでは最尤推定量が出ないため、尤度の単調性で判断することが重要です。

10. 問題文トリガー辞書

問題文の表現	見るべき対象	使う道具	典型ミス
「十分統計量」	同時密度の母数依存部分	ネイマン分解定理	標本平均だけを機械的に答える
「順序統計量」	最大・最小・第k番目	$F(x)$ と組合せ	密度と分布関数を混同する
「最尤推定量」	尤度最大化	対数尤度微分	境界解を見ない
「モーメント法」	母モーメントと標本モーメント	方程式対応	標本分散の $n-1$ と混同
「最小二乗」	残差平方和	正規方程式	正規性が必須だと思う

11. 典型ミス・ひっかけ

ミス	なぜ危ないか	防ぎ方
推定量と推定値を同一視する	不偏性や分散は推定量の性質	確率変数か数値かを分ける
十分統計量を「情報量が多い統計量」と曖昧に覚える	定義は条件付き分布または分解定理	$g_\theta(T)h(x)$ に落とす
最大値の分布を $1-F(x)^n$ とする	これは補集合の取り違え	$X_{(n)}\le x$ は全員が $x$ 以下
尤度を確率分布として正規化しようとする	尤度は母数の関数	観測値固定、母数可変で見る
OLSとMLEが常に一致すると考える	一致には誤差正規性が必要	目的関数と仮定を分ける

12. 解法テンプレ

推定量を求めたり判定したりするときは、次の順で処理します。

何を聞かれているかを確認する（推定量を作るのか、十分統計量か、順序統計量の分布か）。
同時密度 $f_\theta(x)$ を書き、母数 $\theta$ に依存する因子と依存しない因子に分ける。
十分統計量なら、$g_\theta(T(x))h(x)$ の形に分解して $T(x)$ を読み取る。
最尤推定量なら、対数尤度を微分して0と置く。台が母数に依存する場合は尤度の単調性で判断する。
モーメント法なら、母モーメントと標本モーメントを対応させて方程式を解く。
順序統計量なら、$F(x)$ を起点に「$x$ 以下が何個か」の組合せで分布・密度を組み立てる。
必要なら推定量を比較する（不偏性・分散は次章の基準で評価する）。

13. ここで1問

推定量の導き方を確認したら、演習で「同時密度から何を読み取るか」を意識して解きます。

このページの確認問題

統計学応用推定

まず解く: 最尤推定、十分統計量、順序統計量

目標: 同時密度から推定量の候補を読み取れる

関連教材（青の統計学）

統計的推定（動画）

統計学応用推定の演習

14. 次に読むページ

次は、不偏性、一致性、有効性、フィッシャー情報量、クラメール・ラオの不等式を扱います。推定量を作った後は、その推定量がどれだけ良いかを評価します。

推定量の性質・Fisher情報量