この問題では、定常分布の理論と計算手法の数学的基盤について理解を深めます。
定常分布理論：確率システムの平衡状態の数学
定常分布（stationary distribution）は、マルコフ連鎖が無限時間後に収束する確率分布で、システムの「平衡状態」を数学的に記述します。この分布は左固有ベクトルとしての線形代数的性質と、測度論的な確率論的性質を併せ持つ深い数学的対象です。
Step 1: 遷移確率行列の詳細解析
与えられた遷移確率行列：
$$P = \\begin{pmatrix} 0.6 & 0.4 \\\\ 0.3 & 0.7 \\end{pmatrix}$$
行列の基本的性質：
- 確率行列：各行の和が1
- 既約性：すべての要素が正なので既約
- 非周期性：対角要素が正なので非周期
- 双確率行列ではない：列和が1ではない
2×2遷移行列の分類
| 要素 | 値 | 解釈 |
|---|
| $P_{11} = 0.6$ | 状態1での残留確率 | 慣性・持続性の測度 |
| $P_{12} = 0.4$ | 状態1→2の遷移確率 | 状態変更の傾向 |
| $P_{21} = 0.3$ | 状態2→1の遷移確率 | 逆向き変更の確率 |
| $P_{22} = 0.7$ | 状態2での残留確率 | 状態2の安定性 |
Step 2: 定常分布の数学的定義と存在理論
定常分布の厳密な定義：
確率ベクトル$\\pi = (\\pi_1, \\pi_2)$が定常分布であるとは、以下の条件を満たすことです：
$$\\pi P = \\pi \\quad \\text{(平衡条件)}$$
$$\\sum_{i=1}^2 \\pi_i = 1 \\quad \\text{(正規化条件)}$$
$$\\pi_i \\geq 0 \\quad \\text{(非負条件)}$$
線形代数的解釈：
定常分布は、転置行列$P^T$の固有値1に対応する左固有ベクトルです：
$$\\pi P = \\pi \\Leftrightarrow \\pi(P - I) = \\mathbf{0} \\Leftrightarrow P^T \\pi^T = \\pi^T$$
定常分布の存在と一意性定理
既約有限マルコフ連鎖に対して：
- 存在性：Perron-Frobenius定理により固有値1が存在
- 一意性：既約性により固有空間の次元が1
- 正値性：既約性によりすべての成分が正
- 収束性：非周期性により任意の初期分布から収束
Step 3: 平衡方程式の詳細な導出
行列方程式の展開：
$$\\begin{pmatrix} \\pi_1 & \\pi_2 \\end{pmatrix} \\begin{pmatrix} 0.6 & 0.4 \\\\ 0.3 & 0.7 \\end{pmatrix} = \\begin{pmatrix} \\pi_1 & \\pi_2 \\end{pmatrix}$$
成分ごとの等式：
\\begin{align}\\pi_1 \\cdot 0.6 + \\pi_2 \\cdot 0.3 &= \\pi_1 \\quad \\text{(第1成分)} \\\\\\pi_1 \\cdot 0.4 + \\pi_2 \\cdot 0.7 &= \\pi_2 \\quad \\text{(第2成分)}\\end{align}
方程式の簡約：
\\begin{align}0.6\\pi_1 + 0.3\\pi_2 &= \\pi_1 \\\\0.4\\pi_1 + 0.7\\pi_2 &= \\pi_2\\end{align}
\\begin{align}-0.4\\pi_1 + 0.3\\pi_2 &= 0 \\quad \\text{(式1)} \\\\0.4\\pi_1 - 0.3\\pi_2 &= 0 \\quad \\text{(式2)}\\end{align}
方程式の独立性：
式1と式2は実質的に同一であり、系は1次元の解空間を持ちます。これは既約2状態マルコフ連鎖の一般的性質です。
Step 4: 複数の解法アプローチ
方法1：連立方程式による解法
式1から：
$$0.3\\pi_2 = 0.4\\pi_1 \\Rightarrow \\pi_2 = \\frac{4}{3}\\pi_1$$
正規化条件$\\pi_1 + \\pi_2 = 1$に代入：
$$\\pi_1 + \\frac{4}{3}\\pi_1 = 1 \\Rightarrow \\frac{7}{3}\\pi_1 = 1 \\Rightarrow \\pi_1 = \\frac{3}{7}$$
$$\\pi_2 = 1 - \\pi_1 = 1 - \\frac{3}{7} = \\frac{4}{7}$$
方法2：詳細釣り合い原理（この行列では適用不可）
詳細釣り合い条件：$\\pi_i P_{ij} = \\pi_j P_{ji}$
検証：$\\frac{3}{7} \\times 0.4 = \\frac{12}{70}$, $\\frac{4}{7} \\times 0.3 = \\frac{12}{70}$
偶然にも詳細釣り合いが成立しており、この連鎖は可逆です。
方法3：固有ベクトル法
特性方程式：$\\det(P^T - I) = 0$
$$\\det\\begin{pmatrix} -0.4 & 0.3 \\\\ 0.4 & -0.3 \\end{pmatrix} = (-0.4)(-0.3) - (0.3)(0.4) = 0.12 - 0.12 = 0$$
これは固有値1の存在を確認します。
Step 5: 数値計算と精度検証
正確な分数表現：
$$\\pi_1 = \\frac{3}{7}, \\quad \\pi_2 = \\frac{4}{7}$$
小数近似：
$$\\pi_1 = \\frac{3}{7} = 0.428571\\ldots \\approx 0.429$$
$$\\pi_2 = \\frac{4}{7} = 0.571428\\ldots \\approx 0.571$$
検証計算：
$$\\pi P = \\begin{pmatrix} \\frac{3}{7} & \\frac{4}{7} \\end{pmatrix} \\begin{pmatrix} 0.6 & 0.4 \\\\ 0.3 & 0.7 \\end{pmatrix}$$
$$= \\begin{pmatrix} \\frac{3}{7} \\times 0.6 + \\frac{4}{7} \\times 0.3 & \\frac{3}{7} \\times 0.4 + \\frac{4}{7} \\times 0.7 \\end{pmatrix}$$
$$= \\begin{pmatrix} \\frac{1.8 + 1.2}{7} & \\frac{1.2 + 2.8}{7} \\end{pmatrix} = \\begin{pmatrix} \\frac{3}{7} & \\frac{4}{7} \\end{pmatrix} = \\pi \\,\\checkmark$$
定常分布の物理的解釈
| 状態 | 定常確率 | 意味 |
|---|
| 状態1 | $\\pi_1 = \\frac{3}{7} \\approx 42.9\\%$ | 長期的に約43%の時間滞在 |
| 状態2 | $\\pi_2 = \\frac{4}{7} \\approx 57.1\\%$ | 長期的に約57%の時間滞在 |
Step 6: 高次遷移確率と収束解析
固有値分解による対角化：
固有値：$\\lambda_1 = 1$, $\\lambda_2 = 0.3$
対応する固有ベクトル：
- $\\mathbf{v}_1 = \\begin{pmatrix} 3 \\\\ 4 \\end{pmatrix}$（固有値1）
- $\\mathbf{v}_2 = \\begin{pmatrix} 1 \\\\ -1 \\end{pmatrix}$（固有値0.3）
$n$ステップ遷移確率：
$$P^n = \\begin{pmatrix} \\frac{3}{7} & \\frac{4}{7} \\\\ \\frac{3}{7} & \\frac{4}{7} \\end{pmatrix} + 0.3^n \\begin{pmatrix} \\frac{4}{7} & -\\frac{4}{7} \\\\ -\\frac{3}{7} & \\frac{3}{7} \\end{pmatrix}$$
収束速度：
指数減衰率$0.3^n$により、約$\\frac{\\ln(0.01)}{\\ln(0.3)} \\approx 3.8$ステップで99%の精度で定常分布に収束します。
Step 7: エルゴード理論との関連
エルゴード定理の適用：
既約・非周期マルコフ連鎖に対して：
$$\\lim_{n \\to \\infty} \\frac{1}{n} \\sum_{k=0}^{n-1} \\mathbf{1}_{\\{X_k = i\\}} = \\pi_i \\quad \\text{a.s.}$$
これは「時間平均＝空間平均」を意味し、状態$i$での滞在時間割合が定常確率に収束することを保証します。
強法則大数と中心極限定理：
- SLLN：時間平均の概収束
- CLT：正規化された偏差の分布収束
- LIL：反復対数の法則による振動の評価
Step 8: 可逆性と詳細釣り合い
可逆性の検証：
詳細釣り合い条件：$\\pi_i P_{ij} = \\pi_j P_{ji}$
$$\\pi_1 P_{12} = \\frac{3}{7} \\times 0.4 = \\frac{12}{70}$$
$$\\pi_2 P_{21} = \\frac{4}{7} \\times 0.3 = \\frac{12}{70}$$
等しいので、この連鎖は可逆（reversible）です。
可逆性の意味：
- 時間反転不変性：前向きと後向きの過程が同分布
- 対称化可能性：適当な重みで対称行列に変換可能
- スペクトル性質：すべての固有値が実数
Step 9: 数値的安定性と計算手法
反復法による数値解：
べき乗法：$\\pi^{(n+1)} = \\pi^{(n)} P$
初期値$\\pi^{(0)} = (0.5, 0.5)$から開始：
- $\\pi^{(1)} = (0.45, 0.55)$
- $\\pi^{(2)} = (0.435, 0.565)$
- $\\pi^{(3)} = (0.4305, 0.5695)$
- $\\vdots$
- $\\pi^{(\\infty)} = (\\frac{3}{7}, \\frac{4}{7})$
収束判定：
$\\|\\pi^{(n+1)} - \\pi^{(n)}\\| < \\epsilon$で収束判定を行います。
Step 10: 一般理論への拡張
$n$状態マルコフ連鎖：
一般の$n \\times n$行列$P$に対して：
$$(P^T - I)\\pi^T = \\mathbf{0}, \\quad \\mathbf{1}^T \\pi^T = 1$$
これは$(n-1)$個の独立な線形方程式と1個の正規化条件からなる連立方程式です。
特異値分解（SVD）による解法：
$P^T - I$の零空間を求める問題として、数値線形代数の手法が適用できます。
Step 11: 摂動理論と感度解析
遷移確率の摂動：
$P(\\epsilon) = P + \\epsilon \\Delta P$に対する定常分布の変化：
$$\\pi(\\epsilon) = \\pi + \\epsilon \\Delta \\pi + O(\\epsilon^2)$$
感度行列：
$\\frac{\\partial \\pi_i}{\\partial P_{jk}}$により、各遷移確率が定常分布に与える影響を定量化できます。
Step 12: 統計的推論
最尤推定：
観測データから遷移確率を推定し、その定常分布を計算：
$$\\hat{P}_{ij} = \\frac{N_{ij}}{\\sum_k N_{ik}}$$
ここで$N_{ij}$は状態$i$から$j$への観測遷移回数です。
信頼区間：
デルタ法により、定常確率の漸近分布を導出し、信頼区間を構築できます。
おまけ：
定常分布の理論は、線形代数の固有値問題、測度論的確率論、エルゴード理論が見事に統合された数学の傑作です。単純な「平衡方程式」の背後には、Perron-Frobenius理論の深い構造があり、既約性・非周期性という組み合わせ的性質が解析的性質（一意性・正値性・収束性）を保証する美しい対応関係があります。また、詳細釣り合い条件による可逆性は、確率過程の「時間対称性」を表現し、物理学の平衡統計力学との深い関連を示します。この理論により、複雑な確率システムの長期挙動が、有限次元線形代数の問題に帰着される点が、おもしろいです。