この問題では、定常分布の理論と計算手法の数学的基盤について理解を深めます。
定常分布理論：確率システムの平衡状態の数学
定常分布（stationary distribution）は、マルコフ連鎖が無限時間後に収束する確率分布で、システムの「平衡状態」を数学的に記述します。この分布は左固有ベクトルとしての線形代数的性質と、測度論的な確率論的性質を併せ持つ深い数学的対象です。
Step 1: 遷移確率行列の詳細解析
与えられた遷移確率行列：
$P = \begin{pmatrix} 0.6 & 0.4 \\ 0.3 & 0.7 \end{pmatrix}$
行列の基本的性質：
- 確率行列：各行の和が1
- 既約性：すべての要素が正なので既約
- 非周期性：対角要素が正なので非周期
- 双確率行列ではない：列和が1ではない
2×2遷移行列の分類
| 要素 | 値 | 解釈 |
|---|
| $P_{11} = 0.6$ | 状態1での残留確率 | 慣性・持続性の測度 |
| $P_{12} = 0.4$ | 状態1→2の遷移確率 | 状態変更の傾向 |
| $P_{21} = 0.3$ | 状態2→1の遷移確率 | 逆向き変更の確率 |
| $P_{22} = 0.7$ | 状態2での残留確率 | 状態2の安定性 |
Step 2: 定常分布の数学的定義と存在理論
定常分布の厳密な定義：
確率ベクトル$\pi = (\pi_1, \pi_2)$が定常分布であるとは、以下の条件を満たすことです：
$\pi P = \pi \quad \text{(平衡条件)}$
$\sum_{i=1}^2 \pi_i = 1 \quad \text{(正規化条件)}$
$\pi_i \geq 0 \quad \text{(非負条件)}$
線形代数的解釈：
定常分布は、転置行列$P^T$の固有値1に対応する左固有ベクトルです：
$\pi P = \pi \Leftrightarrow \pi(P - I) = \mathbf{0} \Leftrightarrow P^T \pi^T = \pi^T$
定常分布の存在と一意性定理
既約有限マルコフ連鎖に対して：
- 存在性：Perron-Frobenius定理により固有値1が存在
- 一意性：既約性により固有空間の次元が1
- 正値性：既約性によりすべての成分が正
- 収束性：非周期性により任意の初期分布から収束
Step 3: 平衡方程式の詳細な導出
行列方程式の展開：
$\begin{pmatrix} \pi_1 & \pi_2 \end{pmatrix} \begin{pmatrix} 0.6 & 0.4 \\ 0.3 & 0.7 \end{pmatrix} = \begin{pmatrix} \pi_1 & \pi_2 \end{pmatrix}$
成分ごとの等式：
\begin{align}\pi_1 \cdot 0.6 + \pi_2 \cdot 0.3 &= \pi_1 \quad \text{(第1成分)} \\\pi_1 \cdot 0.4 + \pi_2 \cdot 0.7 &= \pi_2 \quad \text{(第2成分)}\end{align}
方程式の簡約：
\begin{align}0.6\pi_1 + 0.3\pi_2 &= \pi_1 \\0.4\pi_1 + 0.7\pi_2 &= \pi_2\end{align}
\begin{align}-0.4\pi_1 + 0.3\pi_2 &= 0 \quad \text{(式1)} \\0.4\pi_1 - 0.3\pi_2 &= 0 \quad \text{(式2)}\end{align}
方程式の独立性：
式1と式2は実質的に同一であり、系は1次元の解空間を持ちます。これは既約2状態マルコフ連鎖の一般的性質です。
Step 4: 複数の解法アプローチ
方法1：連立方程式による解法
式1から：
$0.3\pi_2 = 0.4\pi_1 \Rightarrow \pi_2 = \frac{4}{3}\pi_1$
正規化条件$\pi_1 + \pi_2 = 1$に代入：
$\pi_1 + \frac{4}{3}\pi_1 = 1 \Rightarrow \frac{7}{3}\pi_1 = 1 \Rightarrow \pi_1 = \frac{3}{7}$
$\pi_2 = 1 - \pi_1 = 1 - \frac{3}{7} = \frac{4}{7}$
方法2：詳細釣り合い原理（この行列では適用不可）
詳細釣り合い条件：$\pi_i P_{ij} = \pi_j P_{ji}$
検証：$\frac{3}{7} \times 0.4 = \frac{12}{70}$, $\frac{4}{7} \times 0.3 = \frac{12}{70}$
偶然にも詳細釣り合いが成立しており、この連鎖は可逆です。
方法3：固有ベクトル法
特性方程式：$\det(P^T - I) = 0$
$\det\begin{pmatrix} -0.4 & 0.3 \\ 0.4 & -0.3 \end{pmatrix} = (-0.4)(-0.3) - (0.3)(0.4) = 0.12 - 0.12 = 0$
これは固有値1の存在を確認します。
Step 5: 数値計算と精度検証
正確な分数表現：
$\pi_1 = \frac{3}{7}, \quad \pi_2 = \frac{4}{7}$
小数近似：
$\pi_1 = \frac{3}{7} = 0.428571\ldots \approx 0.429$
$\pi_2 = \frac{4}{7} = 0.571428\ldots \approx 0.571$
検証計算：
$\pi P = \begin{pmatrix} \frac{3}{7} & \frac{4}{7} \end{pmatrix} \begin{pmatrix} 0.6 & 0.4 \\ 0.3 & 0.7 \end{pmatrix}$
$= \begin{pmatrix} \frac{3}{7} \times 0.6 + \frac{4}{7} \times 0.3 & \frac{3}{7} \times 0.4 + \frac{4}{7} \times 0.7 \end{pmatrix}$
$= \begin{pmatrix} \frac{1.8 + 1.2}{7} & \frac{1.2 + 2.8}{7} \end{pmatrix} = \begin{pmatrix} \frac{3}{7} & \frac{4}{7} \end{pmatrix} = \pi \,\checkmark$
定常分布の物理的解釈
| 状態 | 定常確率 | 意味 |
|---|
| 状態1 | $\pi_1 = \frac{3}{7} \approx 42.9\%$ | 長期的に約43%の時間滞在 |
| 状態2 | $\pi_2 = \frac{4}{7} \approx 57.1\%$ | 長期的に約57%の時間滞在 |
Step 6: 高次遷移確率と収束解析
固有値分解による対角化：
固有値：$\lambda_1 = 1$, $\lambda_2 = 0.3$
対応する固有ベクトル：
- $\mathbf{v}_1 = \begin{pmatrix} 3 \\ 4 \end{pmatrix}$（固有値1）
- $\mathbf{v}_2 = \begin{pmatrix} 1 \\ -1 \end{pmatrix}$（固有値0.3）
$n$ステップ遷移確率：
$P^n = \begin{pmatrix} \frac{3}{7} & \frac{4}{7} \\ \frac{3}{7} & \frac{4}{7} \end{pmatrix} + 0.3^n \begin{pmatrix} \frac{4}{7} & -\frac{4}{7} \\ -\frac{3}{7} & \frac{3}{7} \end{pmatrix}$
収束速度：
指数減衰率$0.3^n$により、約$\frac{\ln(0.01)}{\ln(0.3)} \approx 3.8$ステップで99%の精度で定常分布に収束します。
Step 7: エルゴード理論との関連
エルゴード定理の適用：
既約・非周期マルコフ連鎖に対して：
$\lim_{n \to \infty} \frac{1}{n} \sum_{k=0}^{n-1} \mathbf{1}_{\{X_k = i\}} = \pi_i \quad \text{a.s.}$
これは「時間平均＝空間平均」を意味し、状態$i$での滞在時間割合が定常確率に収束することを保証します。
強法則大数と中心極限定理：
- SLLN：時間平均の概収束
- CLT：正規化された偏差の分布収束
- LIL：反復対数の法則による振動の評価
Step 8: 可逆性と詳細釣り合い
可逆性の検証：
詳細釣り合い条件：$\pi_i P_{ij} = \pi_j P_{ji}$
$\pi_1 P_{12} = \frac{3}{7} \times 0.4 = \frac{12}{70}$
$\pi_2 P_{21} = \frac{4}{7} \times 0.3 = \frac{12}{70}$
等しいので、この連鎖は可逆（reversible）です。
可逆性の意味：
- 時間反転不変性：前向きと後向きの過程が同分布
- 対称化可能性：適当な重みで対称行列に変換可能
- スペクトル性質：すべての固有値が実数
Step 9: 数値的安定性と計算手法
反復法による数値解：
べき乗法：$\pi^{(n+1)} = \pi^{(n)} P$
初期値$\pi^{(0)} = (0.5, 0.5)$から開始：
- $\pi^{(1)} = (0.45, 0.55)$
- $\pi^{(2)} = (0.435, 0.565)$
- $\pi^{(3)} = (0.4305, 0.5695)$
- $\vdots$
- $\pi^{(\infty)} = (\frac{3}{7}, \frac{4}{7})$
収束判定：
$\|\pi^{(n+1)} - \pi^{(n)}\| < \epsilon$で収束判定を行います。
Step 10: 一般理論への拡張
$n$状態マルコフ連鎖：
一般の$n \times n$行列$P$に対して：
$(P^T - I)\pi^T = \mathbf{0}, \quad \mathbf{1}^T \pi^T = 1$
これは$(n-1)$個の独立な線形方程式と1個の正規化条件からなる連立方程式です。
特異値分解（SVD）による解法：
$P^T - I$の零空間を求める問題として、数値線形代数の手法が適用できます。
Step 11: 摂動理論と感度解析
遷移確率の摂動：
$P(\epsilon) = P + \epsilon \Delta P$に対する定常分布の変化：
$\pi(\epsilon) = \pi + \epsilon \Delta \pi + O(\epsilon^2)$
感度行列：
$\frac{\partial \pi_i}{\partial P_{jk}}$により、各遷移確率が定常分布に与える影響を定量化できます。
Step 12: 統計的推論
最尤推定：
観測データから遷移確率を推定し、その定常分布を計算：
$\hat{P}_{ij} = \frac{N_{ij}}{\sum_k N_{ik}}$
ここで$N_{ij}$は状態$i$から$j$への観測遷移回数です。
信頼区間：
デルタ法により、定常確率の漸近分布を導出し、信頼区間を構築できます。
おまけ：
定常分布の理論は、線形代数の固有値問題、測度論的確率論、エルゴード理論が見事に統合された数学の傑作です。単純な「平衡方程式」の背後には、Perron-Frobenius理論の深い構造があり、既約性・非周期性という組み合わせ的性質が解析的性質（一意性・正値性・収束性）を保証する美しい対応関係があります。また、詳細釣り合い条件による可逆性は、確率過程の「時間対称性」を表現し、物理学の平衡統計力学との深い関連を示します。この理論により、複雑な確率システムの長期挙動が、有限次元線形代数の問題に帰着される点が、おもしろいです。