青の統計学-DS Playground-

時系列・確率過程

Stage 5 — 第5章 | 統計検定準1級チートシート 推定学習時間：120〜140分 | 難易度：★★★★★

このページで押さえること

時系列と確率過程は、独立同分布の標本とは違い、時間順序と依存構造を扱います。 このページでは、ARMA/ARIMAの見分け方と、マルコフ連鎖・ポアソン過程・ブラウン運動の基本構造を同じ「時間に沿って変化する確率モデル」として整理します。

このページを終えると、こんなことができるようになります：

  • 定常性、自己共分散、自己相関を説明できる
  • AR、MA、ARMA、ARIMAをACF/PACFの形で見分けられる
  • 状態空間モデルを観測方程式と状態方程式に分けて説明できる
  • マルコフ連鎖の推移確率、定常分布を説明できる
  • ポアソン過程とブラウン運動の独立増分・定常増分を説明できる

2級ではここまで、準1級ではここが増える

2級では、データは基本的に独立同分布として扱い、推定・検定は「観測の順番に意味がない」前提で進めます。時系列や確率過程は、ほぼ範囲外でした。

準1級では、観測が時間順に並び、隣り合う値どうしが相関する依存データを正面から扱います。

観点 2級でのレベル 準1級で増える点
データ構造 iid標本が中心 時間依存・自己相関を持つ系列
モデル （ほぼ扱わない） AR/MA/ARMA/ARIMA・状態空間で依存を表す
確率過程 （扱わない） マルコフ連鎖・ポアソン過程・ブラウン運動

つまり準1級では「1つ1つの観測が独立」という安心が外れます。差がつくのは、自己相関の形からモデルを同定する判断と、確率過程ごとに「何が独立増分・定常増分なのか」を取り違えない注意です。

1. 時系列データと定常性

時系列データは、時間順に観測されたデータです。

\[ X_1,X_2,\dots,X_t,\dots \]

弱定常性では、平均が時間に依存せず、

\[ E[X_t]=\mu \]

自己共分散が時点ではなくラグ $h$ だけに依存します。

\[ \gamma(h)=Cov(X_t,X_{t-h}) \]

自己相関関数は、

\[ \rho(h)=\frac{\gamma(h)}{\gamma(0)} \]

です。 $\rho(h)$ はラグ $h$ だけ離れた観測どうしの相関で、$\rho(0)=1$、$|\rho(h)|\le 1$ です。 $h$ が大きくなるほど0へ近づくなら、過去の影響が薄れていく系列だと読めます。

トレンドや季節性がある系列は、そのままでは定常でないことが多いです。 差分や変換により定常化してからARMAモデルを考えます。

📘 前提知識：自己相関は「過去と今のつながり」

時系列では、隣り合う観測値が独立とは限りません。 ACFは時点をずらした相関、PACFは間の時点の影響を取り除いた直接的な相関を見ます。 ARとMAの識別では、この打ち切り方と減衰の仕方を使います。

2. ARモデル

AR(1)モデルは、

\[ X_t=\phi X_{t-1}+\varepsilon_t \]

です。 $\varepsilon_t$ はホワイトノイズで、

\[ E[\varepsilon_t]=0,\qquad Var(\varepsilon_t)=\sigma^2,\qquad Cov(\varepsilon_t,\varepsilon_s)=0\ (t\ne s) \]

を満たします。

AR(1)が定常である条件は、

\[ |\phi|\lt 1 \]

です。 このとき、過去のショックの影響は時間とともに減衰します。

AR(p)では、

\[ X_t=\phi_1X_{t-1}+\cdots+\phi_pX_{t-p}+\varepsilon_t \]

です。 ARモデルでは、PACFがラグ $p$ で打ち切られ、ACFは減衰する傾向があります。

3. MAモデル

MA(1)モデルは、

\[ X_t=\varepsilon_t+\theta\varepsilon_{t-1} \]

です。 過去のショックの有限個の線形結合で現在の値を表します。

MA(q)では、

\[ X_t=\varepsilon_t+\theta_1\varepsilon_{t-1}+\cdots+\theta_q\varepsilon_{t-q} \]

です。 MAモデルでは、ACFがラグ $q$ で打ち切られ、PACFは減衰する傾向があります。

ARとMAの見分けは、ACF/PACFの形が基本です。

モデル ACF PACF
AR(p) 減衰 pで打ち切り
MA(q) qで打ち切り 減衰
ARMA(p,q) 減衰 減衰

次の図では、ARとMAを係数の式だけでなく、ACFとPACFの形で見分ける。

ARモデル、MAモデル、ARMAモデル、ARIMAモデルをACFとPACFの打ち切り・減衰パターンで見分ける図

ARはPACF、MAはACFの切れ方がモデル同定の手がかりになる。

ARはPACFが、MAはACFが打ち切られる傾向を持つ。どちらも減衰する場合はARMAを疑い、非定常なら差分を取ってARIMAとして考える。

4. ARMAとARIMA

ARMA(p,q)は、AR成分とMA成分を合わせたモデルです。

\[ X_t=\phi_1X_{t-1}+\cdots+\phi_pX_{t-p} +\varepsilon_t+\theta_1\varepsilon_{t-1}+\cdots+\theta_q\varepsilon_{t-q} \]

定常系列に対して使います。

ARIMA(p,d,q)は、$d$ 回差分を取るとARMA(p,q)に従うモデルです。 1階差分は、

\[ \Delta X_t=X_t-X_{t-1} \]

です。 トレンドを持つ非定常系列に対して、差分で定常化してからARMAを当てはめます。

差分を取りすぎると、かえって構造を壊すことがあります。 時系列では、定常化、モデル同定、推定、診断の順で考えます。

関連教材（青の統計学）

5. 状態空間モデル

状態空間モデルは、観測できない状態と観測値を分けて表します。 状態方程式は、

\[ \alpha_t=T\alpha_{t-1}+R\eta_t \]

観測方程式は、

\[ y_t=Z\alpha_t+\varepsilon_t \]

です。 $\alpha_t$ は潜在状態、$y_t$ は観測値です。 状態方程式は潜在状態が時間とともにどう動くかを表し、観測方程式は、その状態がノイズを伴ってどう観測されるかを表します。 通常の回帰と違い、説明変数にあたる状態が直接は観測されない潜在変数である点が特徴です。

状態空間モデルは、トレンド、季節性、ノイズ、欠測を扱いやすい枠組みです。 線形ガウス状態空間モデルでは、カルマンフィルタにより逐次的に状態を推定できます。

次の図では、観測できない潜在状態の層と、そこから生成される観測値の層を分けて見る。

関連教材（青の統計学）

6. マルコフ連鎖

📘 前提知識：確率過程は「時間に沿って枝分かれする確率変数の列」

ここから先のマルコフ連鎖・ポアソン過程・ブラウン運動は、どれも「時間とともに値が変わる確率変数の集まり」です。 違いは追う対象で、マルコフ連鎖は状態の飛び移り、ポアソン過程は出来事の累積回数、ブラウン運動は連続的な揺れを見ます。 「次の値が、これまでのどこに依存するか」を意識すると、3つを混同せずに扱えます。

離散時間の確率過程 $\{X_t\}$ がマルコフ性を持つとは、

\[ P(X_{t+1}=j\mid X_t=i,X_{t-1},\dots,X_0) =P(X_{t+1}=j\mid X_t=i) \]

が成り立つことです。 将来は現在の状態だけに依存し、過去の経路には依存しません。

推移確率を

\[ p_{ij}=P(X_{t+1}=j\mid X_t=i) \]

とし、推移行列を $P=(p_{ij})$ とします。 $n$ ステップ後の推移確率は、

\[ P^n \]

で表されます。

定常分布 $\pi$ は、

\[ \pi=\pi P,\qquad \sum_i\pi_i=1 \]

を満たす分布です。 長期的な状態割合を表します。

次の図では、確率過程を状態が飛ぶモデル、イベント回数が増えるモデル、連続的に揺れるモデルとして分ける。

マルコフ連鎖の状態遷移、ポアソン過程の到着回数、ブラウン運動の連続経路を時間軸で比較する図

確率過程は、状態遷移、到着回数、連続変動のどれを時間上で追うかで見分ける。

マルコフ連鎖は現在状態から次状態へ、ポアソン過程は到着回数のジャンプへ、ブラウン運動は正規増分を持つ連続経路へ注目する。

7. ポアソン過程

ポアソン過程 $\{N(t)\}$ は、時間 $t$ までのイベント発生回数を表す確率過程です。 率 $\lambda$ のポアソン過程では、

\[ N(t)\sim Poisson(\lambda t) \]

です。 独立増分を持ち、重ならない時間区間の発生回数は独立です。 また、定常増分を持ち、長さ $s$ の区間の発生回数は位置によらず

\[ Poisson(\lambda s) \]

に従います。

到着間隔は指数分布に従います。

\[ T\sim Exponential(\lambda) \]

ポアソン過程は、ランダムな到着、故障、事故、電話などの基本モデルです。

8. ブラウン運動

標準ブラウン運動 $\{B(t)\}$ は、

\[ B(0)=0 \]

で、独立増分と正規増分を持ちます。

\[ B(t)-B(s)\sim N(0,t-s)\qquad (0\le s\lt t) \]

また、連続な標本経路を持ちます。

ブラウン運動は、ランダムウォークの極限として理解できます。 独立な小さな増分をたくさん足すと、中心極限定理の連続時間版としてブラウン運動が現れます。

ドリフト付きブラウン運動は、

\[ X(t)=\mu t+\sigma B(t) \]

の形です。 金融、物理、確率微分方程式の基礎になります。

関連教材（青の統計学）

9. 小さな計算例：2状態マルコフ連鎖の定常分布

ここまでのマルコフ連鎖の考え方を、1つの小さな例で確認します。 状態を $\{1,2\}$ とし、推移行列を

\[ P=\begin{pmatrix} 0.7 & 0.3 \\ 0.4 & 0.6 \end{pmatrix} \]

とします。 $p_{ij}$ は状態 $i$ から $j$ へ移る確率で、各行の和は1です。 定常分布 $\pi=(\pi_1,\pi_2)$ は $\pi=\pi P$ と $\pi_1+\pi_2=1$ を満たします。

成分で書くと、

\[ \pi_1=0.7\pi_1+0.4\pi_2,\qquad \pi_2=0.3\pi_1+0.6\pi_2 \]

です。 1本目を整理すると $0.3\pi_1=0.4\pi_2$、つまり $\pi_1:\pi_2=4:3$ です。 $\pi_1+\pi_2=1$ と合わせると、

\[ \pi=\left(\tfrac{4}{7},\ \tfrac{3}{7}\right)\approx(0.571,\ 0.429) \]

となります。 これは、連鎖を長く動かしたとき、状態1にいる時間の割合がおよそ57%へ落ち着くことを意味します。 既約かつ非周期なら、初期状態がどちらでも十分時間が経てば同じ $\pi$ に近づく、という点が定常分布の要点です。

10. 問題文トリガー辞書

問題文の表現 選ぶモデル 見る量 典型ミス
「自己相関」 時系列 ACF/PACF iid標本として扱う
「PACFが打ち切り」 AR AR次数 MAと逆にする
「ACFが打ち切り」 MA MA次数 ARと逆にする
「差分」 ARIMA $d$ 差分前の非定常性を無視
「観測不能な状態」 状態空間 状態/観測方程式 通常の回帰と混同
「現在だけに依存」 マルコフ連鎖 推移行列 独立と混同
「到着回数」 ポアソン過程 $\lambda t$ 到着間隔の指数分布を忘れる
「連続時間のランダム変動」 ブラウン運動 正規増分 ポアソン過程と混同

11. 典型ミス・ひっかけ

ミス なぜ危ないか 防ぎ方
時系列をiidとして扱う 自己相関で標準誤差が変わる ACFを確認
ARとMAのACF/PACFを逆に覚える モデル同定を誤る ARはPACF、MAはACFが打ち切り
非定常系列にARMAを直接当てる 推定・予測が不安定 差分・定常性確認
マルコフ性を独立性と考える 現在には依存する 条件付き独立として読む
ポアソン過程で発生回数と待ち時間を混同する 回数はポアソン、待ち時間は指数 何を観測しているか確認
ブラウン運動の増分分散を一定とする 分散は時間長に比例 $t-s$ を確認

12. 解法テンプレ

時系列・確率過程の問題では、次の順で処理します。

  1. iid標本か、時間依存のあるデータかをまず判断する。
  2. 系列が定常か確認する（平均・分散が一定か、トレンドや季節性がないか）。非定常なら差分や変換で定常化する。
  3. ACFとPACFの形を見て、どちらが打ち切られ、どちらが減衰するかを読む。
  4. AR（PACF打ち切り）、MA（ACF打ち切り）、ARMA（両方減衰）、ARIMA（差分後にARMA）を同定する。
  5. 観測できない状態が背後にあるなら、状態空間モデルとカルマンフィルタを検討する。
  6. 確率過程なら、追う対象（状態遷移＝マルコフ連鎖、到着回数＝ポアソン過程、連続変動＝ブラウン運動）で枠組みを選ぶ。
  7. 増分の独立性・定常性や、分散が時間長に比例するかなどの前提を確認する。

13. ここで1問

時系列・確率過程は、まず「依存の型」を見抜いてから演習に入ると整理しやすくなります。

このページの確認問題

関連教材（青の統計学）

14. 次に読むページ

次は、Stage6としてベイズ統計を扱います。 事前分布、事後分布、共役性、階層ベイズを整理し、最後の計算・欠測・ロバスト・情報理論へ進みます。