この問題では、マルコフ連鎖の状態分類理論と構造解析について理解を深めます。マルコフ連鎖の状態分類は、1906年にアンドレイ・マルコフによって導入された理論の核心部分で、確率過程の長期挙動を理解するための基本的な数学的枠組みです。状態の性質を精密に分類することにより、システムの安定性、収束性、周期性を予測できます。
マルコフ連鎖の状態分類：確率システムの構造理論
マルコフ連鎖における状態分類は、各状態が持つ「到達可能性」「帰還性」「周期性」という3つの基本的性質に基づいて行われます。これらの性質は相互に関連し合い、連鎖全体の長期的振る舞いを決定する重要な構造的特徴を形成します。
Step 1: 遷移確率行列の構造分析
与えられた遷移確率行列：
$P = \begin{pmatrix} 0.5 & 0.5 & 0 \\ 0.3 & 0.4 & 0.3 \\ 0 & 0.6 & 0.4 \end{pmatrix}$
行列の基本性質の確認：
- 確率行列条件：各行の和が1（$\sum_j P_{ij} = 1$）
- 非負性：すべての要素が非負（$P_{ij} \geq 0$）
- 状態空間：$S = \{1, 2, 3\}$（有限状態空間）
遷移確率行列の幾何学的解釈
| 遷移 | 確率 | 意味 |
|---|
| $1 \to 1$ | 0.5 | 状態1での自己ループ |
| $1 \to 2$ | 0.5 | 状態1から2への移動 |
| $2 \to 1,2,3$ | 0.3, 0.4, 0.3 | 状態2からの3方向分散 |
| $3 \to 2,3$ | 0.6, 0.4 | 状態3からの2方向遷移 |
Step 2: 到達可能性と通信関係の厳密な解析
到達可能性の定義：
状態$i$から状態$j$へ到達可能（$i \to j$）であるとは、ある正整数$n$に対して$P_{ij}^{(n)} > 0$が成立することです。
通信関係の詳細分析：
$1 \xrightarrow{1} 2 \xrightarrow{1} 3 \xrightarrow{1} 2 \xrightarrow{1} 1$
各方向の到達可能性：
- $1 \to 2$：1ステップで可能（$P_{12} = 0.5 > 0$）
- $2 \to 3$：1ステップで可能（$P_{23} = 0.3 > 0$）
- $3 \to 2$：1ステップで可能（$P_{32} = 0.6 > 0$）
- $2 \to 1$：1ステップで可能（$P_{21} = 0.3 > 0$）
- $3 \to 1$：2ステップで可能（$3 \to 2 \to 1$）
- $1 \to 3$：2ステップで可能（$1 \to 2 \to 3$）
通信関係の性質
通信関係「$\leftrightarrow$」は同値関係です：
- 反射性：$i \leftrightarrow i$（自己通信）
- 対称性：$i \leftrightarrow j \Rightarrow j \leftrightarrow i$
- 推移性：$i \leftrightarrow j, j \leftrightarrow k \Rightarrow i \leftrightarrow k$
Step 3: 既約性の理論的基盤と証明
既約性の定義：
マルコフ連鎖が既約（irreducible）であるとは、すべての状態ペア$(i,j)$に対して$i \leftrightarrow j$が成立することです。
既約性の段階的証明：
- $1 \leftrightarrow 2$：$P_{12} = 0.5 > 0$かつ$P_{21} = 0.3 > 0$
- $2 \leftrightarrow 3$：$P_{23} = 0.3 > 0$かつ$P_{32} = 0.6 > 0$
- $1 \leftrightarrow 3$：推移性により$1 \leftrightarrow 2 \leftrightarrow 3$
結論：すべての状態が相互通信可能なので、この連鎖は既約です。
既約性の重要な帰結：
- 一意の定常分布：既約有限連鎖は唯一の定常分布を持つ
- エルゴード性：非周期的なら強エルゴード性を満たす
- 正再帰性：有限既約連鎖のすべての状態は正再帰的
Step 4: 周期性の精密な数学的解析
周期の定義：
状態$i$の周期$d(i)$は以下で定義されます：
$d(i) = \gcd\{n \geq 1 : P_{ii}^{(n)} > 0\}$
状態3の周期計算：
状態3から状態3への帰還可能なステップ数を調査：
1ステップ帰還：
$P_{33}^{(1)} = 0.4 > 0$
2ステップ帰還の詳細計算：
\begin{align}P_{33}^{(2)} &= \sum_{k=1}^{3} P_{3k} P_{k3} \\&= P_{31} P_{13} + P_{32} P_{23} + P_{33} P_{33} \\&= 0 \times 0 + 0.6 \times 0.3 + 0.4 \times 0.4 \\&= 0 + 0.18 + 0.16 = 0.34 > 0\end{align}
周期の決定：
$P_{33}^{(1)} > 0$かつ$P_{33}^{(2)} > 0$なので：
$d(3) = \gcd(1, 2) = 1$
したがって、状態3は非周期的（aperiodic）です。
周期性の理論的意義
| 周期 | 性質 | 長期挙動 |
|---|
| $d = 1$ | 非周期的 | 定常分布への単調収束 |
| $d > 1$ | 周期的 | 振動しながら収束 |
Step 5: 再帰性の理論と有限マルコフ連鎖の特殊性
再帰性の定義：
状態$i$が再帰的であるとは、状態$i$から出発して状態$i$に戻る確率が1であることです：
$f_{ii} = P(T_i < \infty | X_0 = i) = 1$
ここで$T_i = \inf\{n \geq 1 : X_n = i\}$は初回帰還時刻です。
正再帰性と零再帰性：
- 正再帰的：$E[T_i | X_0 = i] < \infty$（有限期待帰還時間）
- 零再帰的：$E[T_i | X_0 = i] = \infty$（無限期待帰還時間）
有限マルコフ連鎖の基本定理：
有限既約マルコフ連鎖の重要性質
- すべての状態が正再帰的：有限性により自動的に成立
- 唯一の定常分布の存在：$\pi P = \pi$, $\sum_i \pi_i = 1$
- エルゴード定理：時間平均＝空間平均
- 収束定理：$\lim_{n \to \infty} P^n = \mathbf{e}\pi^T$（非周期的な場合）
Step 6: 既約分解と通信クラス
一般理論での分解：
一般のマルコフ連鎖では、状態空間が通信クラスに分解されます：
$S = C_1 \cup C_2 \cup \cdots \cup C_k \cup T$
ここで$C_i$は既約クラス、$T$は過渡状態集合です。
本問題での分析：
$S = \{1, 2, 3\}$において、すべての状態が相互通信可能なので：
$S = C_1 = \{1, 2, 3\}, \quad T = \emptyset$
つまり、全体が一つの既約クラスを形成し、過渡状態は存在しません。
Step 7: 状態3の包括的性質分析
状態3の完全な特徴付け：
- 既約性：✓ すべての状態と通信可能
- 非周期性：✓ $d(3) = 1$
- 正再帰性：✓ 有限既約連鎖の性質
- 安定性：✓ 定常分布で正の確率を持つ
状態3の数学的分類
状態3は「既約・非周期・正再帰状態」です。これは最も安定で予測可能な状態タイプで、以下の性質を持ちます：
- 長期安定性：定常分布での正の確率
- 到達可能性：任意の状態から有限時間で到達可能
- 帰還確実性：確率1で有限時間内に帰還
- 非周期性：振動なしで定常分布に収束
Step 8: 高次遷移確率による収束性の検証
2ステップ遷移確率行列の計算：
$P^2 = P \times P = \begin{pmatrix} 0.5 & 0.5 & 0 \\ 0.3 & 0.4 & 0.3 \\ 0 & 0.6 & 0.4 \end{pmatrix}^2$
$P^2 = \begin{pmatrix} 0.4 & 0.45 & 0.15 \\ 0.24 & 0.43 & 0.33 \\ 0.18 & 0.48 & 0.34 \end{pmatrix}$
既約性の再確認：
$P^2$のすべての要素が正であることから、この連鎖は強既約（strongly irreducible）であり、2ステップで任意の状態から任意の状態へ遷移可能です。
Step 9: 定常分布との関係
定常分布の存在と一意性：
既約有限マルコフ連鎖の基本定理により、唯一の定常分布$\pi = (\pi_1, \pi_2, \pi_3)$が存在し、以下を満たします：
$\pi P = \pi, \quad \sum_{i=1}^3 \pi_i = 1, \quad \pi_i > 0$
状態3の定常確率：
状態3は既約・正再帰状態なので、$\pi_3 > 0$が保証され、長期的に正の確率で滞在します。
Step 10: エルゴード理論との関連
エルゴード定理の適用：
既約・非周期・正再帰マルコフ連鎖に対して、以下のエルゴード定理が成立します：
$\lim_{n \to \infty} \frac{1}{n} \sum_{k=0}^{n-1} \mathbf{1}_{\{X_k = 3\}} = \pi_3 \quad \text{a.s.}$
これは「時間平均＝空間平均」を意味し、状態3での滞在時間比率が定常確率に収束することを保証します。
Step 11: 理論的拡張と一般化
可約マルコフ連鎖との比較：
もし行列に零ブロックが存在し、状態空間が分離されていれば：
- 複数の既約クラス：独立した定常分布
- 過渡状態：長期的に確率0で消失
- 吸収状態：一度入ると脱出不可能
無限マルコフ連鎖への示唆：
可算無限状態空間では：
- 零再帰状態：再帰的だが期待帰還時間無限
- 過渡状態：有限回しか訪問されない
- 分類の複雑性：有限の場合より複雑な構造
理論的洞察：
マルコフ連鎖の状態分類理論は、確率システムの「構造的安定性」を数学的に特徴付ける理論体系です。既約性は「全体的連結性」、周期性は「時間的規則性」、再帰性は「長期的持続性」を表し、これら3つの性質の組み合わせが系の運命を決定します。特に、既約・非周期・正再帰という3つの性質を併せ持つ状態は「最も安定で予測可能」な性質を示し、実用的なモデルにおいて理想的な特性となります。