マルコフ連鎖の定常分布 - 確率過程問題5

マルコフ連鎖の定常分布レベル1

遷移確率行列$P = \begin{pmatrix} 0.7 & 0.3 \\ 0.4 & 0.6 \end{pmatrix}$を持つマルコフ連鎖の定常分布$\pi = (\pi_1, \pi_2)$において、$\pi_1$の値を求めよ。小数第3位まで求めよ。

解説

解答と解説を表示

この問題では、マルコフ連鎖の定常分布理論と計算手法について理解を深めます。定常分布は確率過程の長期挙動を決定する基本概念で、待ち行列理論、ゲーム理論、人口動態など幅広い分野で「平衡状態」の数学的記述として機能します。<h4>定常分布：確率過程の長期平衡</h4>定常分布（stationary distribution）は、マルコフ連鎖が十分長時間経過した後に到達する「平衡状態」の確率分布です。この概念は統計物理学の平衡分布関連を持ち、確率過程論の中心的テーマです。Step 1: 定常分布の数学的定義と意味確率分布$\pi = (\pi_1, \pi_2, \ldots)$が定常分布であるための条件：<div class='key-point'><div class='key-point-title'>定常分布の基本条件</div><ol><li>不変性条件：$\pi P = \pi$（分布が遷移によって変化しない）</li><li>正規化条件：$\sum_i \pi_i = 1$（確率分布の基本条件）</li><li>非負性条件：$\pi_i \geq 0$ for all $i$（確率の非負性）</li></ol></div>条件の深い意味：<ul><li>不変性：定常分布から出発すると、1ステップ後も同じ分布</li><li>左固有ベクトル：$\pi P = \pi$は固有値1の左固有ベクトル方程式</li><li>長期挙動：$\lim_{n \to \infty} P^n$の各行に現れる分布</li></ul>Step 2: 固有ベクトル方程式の設定与えられた遷移確率行列：<div class='formula'>$P = \begin{pmatrix} 0.7 & 0.3 \\ 0.4 & 0.6 \end{pmatrix}$

行列の解釈：

対角成分：$P_{11} = 0.7$, $P_{22} = 0.6$（同じ状態に留まる確率）
非対角成分：$P_{12} = 0.3$, $P_{21} = 0.4$（状態間遷移確率）
行和条件：各行の和が1（確率の保存）

定常分布$\pi = (\pi_1, \pi_2)$に対する方程式：

$\begin{pmatrix} \pi_1 & \pi_2 \end{pmatrix} \begin{pmatrix} 0.7 & 0.3 \\ 0.4 & 0.6 \end{pmatrix} = \begin{pmatrix} \pi_1 & \pi_2 \end{pmatrix}$

Step 3: 連立方程式の詳細展開

行列の積を展開すると：

$\begin{cases}0.7\pi_1 + 0.4\pi_2 = \pi_1 \quad \text{(第1成分)} \\0.3\pi_1 + 0.6\pi_2 = \pi_2 \quad \text{(第2成分)} \\\pi_1 + \pi_2 = 1 \quad \text{(正規化条件)}\end{cases}$

方程式の物理的意味：

第1式：状態1への流入と流出のバランス
第2式：状態2への流入と流出のバランス
第3式：確率の合計が1

Step 4: 詳細釣り合い条件による解法

第1式を整理：

$0.7\pi_1 + 0.4\pi_2 = \pi_1$

$0.4\pi_2 = (1 - 0.7)\pi_1 = 0.3\pi_1$

$\pi_2 = \frac{0.3}{0.4}\pi_1 = \frac{3}{4}\pi_1$

流入流出の解釈：

状態1からの流出：$\pi_1 \times 0.3 = 0.3\pi_1$
状態2からの流入：$\pi_2 \times 0.4 = 0.4\pi_2$
平衡条件：$0.3\pi_1 = 0.4\pi_2$

Step 5: 正規化による最終解

$\pi_2 = \frac{3}{4}\pi_1$を正規化条件に代入：

$\pi_1 + \frac{3}{4}\pi_1 = 1$

$\frac{4 + 3}{4}\pi_1 = \frac{7}{4}\pi_1 = 1$

$\pi_1 = \frac{4}{7} \approx 0.571$

したがって：

$\pi_2 = 1 - \pi_1 = 1 - \frac{4}{7} = \frac{3}{7} \approx 0.429$

定常分布の重要な性質

性質	数学的表現	実用的意味
一意性	既約・有限 $\Rightarrow$ 一意	長期挙動の決定性
極限定理	$\lim_{n \to \infty} P^{(n)}_{ij} = \pi_j$	初期状態に無依存
エルゴード性	$\frac{1}{n}\sum_{k=1}^n I_{X_k=j} \to \pi_j$	時間平均=空間平均
再帰時間	$E[T_i] = \frac{1}{\pi_i}$	平均再帰時間

定常分布の計算手法の比較

Step 6: 代替計算手法

手法1：固有ベクトル法

$(P^T - I)\pi = 0$を解く（今回使用した方法）

手法2：べき乗法

$\lim_{n \to \infty} P^n$の計算による数値解法

手法3：詳細釣り合い条件

可逆な連鎖では$\pi_i P_{ij} = \pi_j P_{ji}$を利用

Step 7: 可逆性の確認

この連鎖が可逆かどうか確認：

$\pi_1 P_{12} = \frac{4}{7} \times 0.3 = \frac{12}{70}$

$\pi_2 P_{21} = \frac{3}{7} \times 0.4 = \frac{12}{70}$

$\pi_1 P_{12} = \pi_2 P_{21}$なので、この連鎖は可逆です。

統計的解釈：
定常分布$\pi_1 = \frac{4}{7} \approx 0.571$は、長期的に状態1にいる時間の割合を表します。この値は初期状態に依存せず、システム固有の性質です。また、平均再帰時間は$\frac{1}{\pi_1} = \frac{7}{4} = 1.75$ステップで、状態1から出発して再び状態1に戻るまでの期待時間を示しています。これは確率過程の「周期性」を定量化する重要な指標です。