定常マルコフ連鎖 - 確率過程問題13 - 青の統計学-DS Playground-

定常マルコフ連鎖レベル1

定常分布$\pi = (0.4, 0.6)$を持つ2状態マルコフ連鎖において、状態1から状態2への遷移確率が0.3のとき、状態2から状態1への遷移確率はいくらか。

解説

解答と解説を表示

この問題では、詳細釣り合い条件と可逆マルコフ連鎖について理解を深めます。詳細釣り合い条件は確率過程論における重要な概念で、系の平衡状態における「局所的な流れの釣り合い」を表現し、統計物理学の平衡統計力学と深い関連を持ちます。<h4>詳細釣り合い条件：局所平衡の数学的表現</h4>詳細釣り合い条件（detailed balance condition）は、定常状態において「各状態間の確率流が両方向で釣り合う」ことを要求する条件で、可逆な確率過程の特徴的性質です。この条件により、複雑な多状態系の解析が大幅に簡略化されます。Step 1: 詳細釣り合い条件の定義2状態マルコフ連鎖における詳細釣り合い条件：<div class='formula'>$\pi_i P_{ij} = \pi_j P_{ji} \quad \text{for all } i, j$

この条件の物理的意味：

$\pi_i P_{ij}$：定常状態で状態$i$から状態$j$への単位時間あたりの確率流
$\pi_j P_{ji}$：定常状態で状態$j$から状態$i$への単位時間あたりの確率流
等式：両方向の流れが完全に釣り合っている

詳細釣り合いの重要性

観点	意味	応用
数学的	可逆性の必要十分条件	マルコフ連鎖モンテカルロ法
物理的	平衡状態の局所条件	統計力学、化学反応論
計算的	解析の簡略化	サンプリング法、最適化

Step 2: 与えられた情報の整理

既知の情報：

定常分布：$\pi = (0.4, 0.6) = (\pi_1, \pi_2)$
遷移確率：$P_{12} = 0.3$（状態1→2）
求めるもの：$P_{21}$（状態2→1）

遷移確率行列の構造：

$P = \begin{pmatrix} P_{11} & 0.3 \\ P_{21} & P_{22} \end{pmatrix}$

行和条件により：

$P_{11} = 1 - P_{12} = 1 - 0.3 = 0.7$
$P_{22} = 1 - P_{21}$

Step 3: 詳細釣り合い条件の適用

状態1と状態2の間の詳細釣り合い条件：

$\pi_1 P_{12} = \pi_2 P_{21}$

数値を代入：

$0.4 \times 0.3 = 0.6 \times P_{21}$

$0.12 = 0.6 P_{21}$

$P_{21} = \frac{0.12}{0.6} = 0.2$

Step 4: 解の検証と整合性確認

完全な遷移確率行列：

$P = \begin{pmatrix} 0.7 & 0.3 \\ 0.2 & 0.8 \end{pmatrix}$

定常分布条件の確認：

$\pi P = \pi$の検証：

$\begin{pmatrix} 0.4 & 0.6 \end{pmatrix} \begin{pmatrix} 0.7 & 0.3 \\ 0.2 & 0.8 \end{pmatrix} = \begin{pmatrix} 0.4 \times 0.7 + 0.6 \times 0.2 & 0.4 \times 0.3 + 0.6 \times 0.8 \end{pmatrix}$

$= \begin{pmatrix} 0.28 + 0.12 & 0.12 + 0.48 \end{pmatrix} = \begin{pmatrix} 0.4 & 0.6 \end{pmatrix}$

条件が満たされていることを確認できました。

Step 5: 可逆性の完全確認

すべての状態ペアで詳細釣り合い条件を確認：

$(1,2)$ペア：$\pi_1 P_{12} = 0.4 \times 0.3 = 0.12$, $\pi_2 P_{21} = 0.6 \times 0.2 = 0.12$ ✓
$(1,1)$ペア：$\pi_1 P_{11} = 0.4 \times 0.7 = 0.28$, $\pi_1 P_{11} = 0.28$ ✓（自明）
$(2,2)$ペア：$\pi_2 P_{22} = 0.6 \times 0.8 = 0.48$, $\pi_2 P_{22} = 0.48$ ✓（自明）

このマルコフ連鎖は完全に可逆です。

可逆マルコフ連鎖の重要な性質

時間反転不変性：前向きと後向きの過程が同じ分布
固有値の実数性：すべての固有値が実数（対称化により）
収束の保証：定常分布への幾何級数的収束
サンプリング効率：MCMCアルゴリズムでの高効率

一般化と理論的背景

Step 6: n状態系への一般化

一般の有限状態マルコフ連鎖では、詳細釣り合い条件は：

$\pi_i P_{ij} = \pi_j P_{ji} \quad \text{for all } i, j \in S$

この条件群は$\binom{n}{2}$個の独立な等式を与えますが、対称性により実際の制約数はより少なくなります。

Step 7: 熱力学との関連

統計力学では、詳細釣り合い条件はボルツマン分布における平衡条件と対応します：

$\frac{w_{i \to j}}{w_{j \to i}} = \frac{\pi_j}{\pi_i} = e^{-\beta(E_j - E_i)}$

ここで：

$w_{i \to j}$：状態$i$から$j$への遷移率
$\beta$：逆温度
$E_i$：状態$i$のエネルギー

Step 8: MCMC法への応用

Metropolis-Hastingsアルゴリズム：

提案遷移$q_{i \to j}$に対して、受諾確率を：

$\alpha_{i \to j} = \min\left(1, \frac{\pi_j q_{j \to i}}{\pi_i q_{i \to j}}\right)$

とすれば、詳細釣り合い条件が自動的に満たされ、$\pi$を定常分布とするマルコフ連鎖が構成されます。

Step 9: 非可逆連鎖との比較

非可逆連鎖の例：

$P = \begin{pmatrix} 0.5 & 0.5 \\ 0.9 & 0.1 \end{pmatrix}$

この場合：

定常分布：$\pi = (0.64, 0.36)$
詳細釣り合い：$0.64 \times 0.5 = 0.32 \neq 0.324 = 0.36 \times 0.9
lt;/li></ul>非可逆連鎖では「循環流」が存在し、長期的には定常分布に収束しますが、局所的な流れの釣り合いは成立しません。実用的価値： 詳細釣り合い条件は、マルコフ連鎖の設計において実用的なツールです。特に、所望の定常分布を持つ連鎖を構成する際、詳細釣り合い条件を満たすように遷移確率を設定することで、理論的保証のある効率的なサンプリング手法を開発できます。ベイズ統計学における事後分布からのサンプリング、最適化問題における近似解法、物理シミュレーションなど、現代の計算科学の基盤技術となっています。