マルコフ連鎖の基本性質 - 確率過程問題1/20

マルコフ連鎖の基本性質レベル1

状態空間$S = \{1, 2, 3\}$のマルコフ連鎖で、遷移確率行列が$P = \begin{pmatrix} 0.5 & 0.3 & 0.2 \\ 0.4 & 0.4 & 0.2 \\ 0.1 & 0.2 & 0.7 \end{pmatrix}$のとき、状態1から出発して2ステップ後に状態3にいる確率はいくらか。

解説

この問題では、マルコフ連鎖の多段階遷移確率について理解を深めます。

マルコフ連鎖：記憶を持たない確率過程

マルコフ連鎖は1907年にアンドレイ・マルコフによって導入された確率過程で、「現在の状態のみが未来を決定する」というマルコフ性を持ちます。これは多くの現実現象の数学的モデルとして威力を発揮します。

Step 1: マルコフ性の厳密な定義

マルコフ連鎖$\{X_n\}_{n=0}^{\infty}$は以下の性質を満たします：

$$P(X_{n+1} = j | X_n = i, X_{n-1} = i_{n-1}, \ldots, X_0 = i_0) = P(X_{n+1} = j | X_n = i)$$

この性質により、過去の全履歴ではなく、現在の状態のみで将来の状態の確率分布が決まります。

マルコフ連鎖の核心概念

概念	数学的定義	実用的意味
マルコフ性	$P(X_{n+1}\|\mathcal{F}_n) = P(X_{n+1}\|X_n)$	現在が未来を完全に決定
時間同質性	$P_{ij}(n,n+1) = P_{ij}$	遷移確率が時間に依存しない
状態空間	$S = \{1, 2, \ldots\}$	取りうる状態の集合

Step 2: Chapman-Kolmogorov方程式の理論的基礎

$n$ステップ遷移確率は、Chapman-Kolmogorov方程式により行列の冪として表現されます：

$$P^{(n)}_{ij} = P(X_{m+n} = j | X_m = i) = \sum_{k \in S} P^{(r)}_{ik} \cdot P^{(n-r)}_{kj}$$

特に、$n$ステップ遷移確率行列は：

$$P^{(n)} = P^n$$

この公式は、マルコフ性の直接的帰結で、中間状態での条件付き独立性を表しています。

Step 3: 2ステップ遷移確率の詳細計算

与えられた遷移確率行列：

$$P = \begin{pmatrix} 0.5 & 0.3 & 0.2 \\ 0.4 & 0.4 & 0.2 \\ 0.1 & 0.2 & 0.7 \end{pmatrix}$$

行列の解釈：

$P_{11} = 0.5$：状態1から状態1への1ステップ遷移確率
$P_{12} = 0.3$：状態1から状態2への1ステップ遷移確率
$P_{13} = 0.2$：状態1から状態3への1ステップ遷移確率

2ステップ遷移確率行列の計算：

$$P^{(2)} = P^2 = P \times P$$

Step 4: $(1,3)$要素の段階的計算

状態1から2ステップで状態3に到達する確率は、すべての可能な中間状態を経由する経路の確率の和です：

$$P^{(2)}_{13} = \sum_{k=1}^{3} P_{1k} \cdot P_{k3}$$

各経路の詳細分析：

経路1→1→3：$P_{11} \cdot P_{13} = 0.5 \times 0.2 = 0.1$
経路1→2→3：$P_{12} \cdot P_{23} = 0.3 \times 0.2 = 0.06$
経路1→3→3：$P_{13} \cdot P_{33} = 0.2 \times 0.7 = 0.14$

$$P^{(2)}_{13} = 0.1 + 0.06 + 0.14 = 0.30$$

マルコフ連鎖の分類と性質

Step 5: 状態の分類理論

状態の重要な分類

分類	定義	重要性
既約性	すべての状態が相互到達可能	長期挙動の一意性保証
非周期性	$\gcd\{n: P^{(n)}_{ii} > 0\} = 1$	周期的振動の回避
正再帰性	期待再帰時間が有限	定常分布の存在

Step 6: 長期挙動とエルゴード定理

既約で非周期な有限状態マルコフ連鎖では、以下が成立します：

$$\lim_{n \to \infty} P^{(n)}_{ij} = \pi_j$$

ここで$\pi = (\pi_1, \pi_2, \pi_3)$は一意な定常分布で、$\pi P = \pi$を満たします。

数学的洞察：
この問題は単純な行列の積計算に見えますが、背後には確率過程論の深い理論があります。Chapman-Kolmogorov方程式は、マルコフ性という「現在のみが未来を決定する」性質の数学的表現であり、これによって複雑な確率的現象を線形代数の問題に帰着させることができます。現実の多くの現象がマルコフ性を（近似的に）満たすため、この理論は実用的価値が高いのです。