この問題では、多次元正規分布の条件付き分布について理解を深めます。多次元正規分布の条件付き分布もまた正規分布となり、その性質は線形予測、カルマンフィルタ、ガウス過程など幅広い分野で基礎となる概念です。
多次元正規分布：高次元確率モデルの王者
多次元正規分布は、単変量正規分布の自然な拡張として、複数の確率変数間の複雑な依存関係を記述する最も重要な確率モデルです。
Step 1: 多次元正規分布の条件付き分布理論
$k$次元正規分布$\mathbf{X} \sim N(\boldsymbol{\mu}, \Sigma)$において、変数を分割して：
$\mathbf{X} = \begin{pmatrix}\mathbf{X}_1 \\ \mathbf{X}_2\end{pmatrix}, \quad \boldsymbol{\mu} = \begin{pmatrix}\boldsymbol{\mu}_1 \\ \boldsymbol{\mu}_2\end{pmatrix}, \quad \Sigma = \begin{pmatrix}\Sigma_{11} & \Sigma_{12} \\ \Sigma_{21} & \Sigma_{22}\end{pmatrix}$
とするとき、$\mathbf{X}_1$が与えられた下での$\mathbf{X}_2$の条件付き分布は：
$\mathbf{X}_2 | \mathbf{X}_1 \sim N(\boldsymbol{\mu}_{2|1}, \Sigma_{2|1})$
ここで：
条件付き分布のパラメータ
- 条件付き平均：$\boldsymbol{\mu}_{2|1} = \boldsymbol{\mu}_2 + \Sigma_{21}\Sigma_{11}^{-1}(\mathbf{x}_1 - \boldsymbol{\mu}_1)$
- 条件付き共分散：$\Sigma_{2|1} = \Sigma_{22} - \Sigma_{21}\Sigma_{11}^{-1}\Sigma_{12}$
この公式はシューア補元（Schur complement）の理論に基づいており、行列の分解と逆行列の性質を巧妙に利用しています。
Step 2: 問題設定の詳細分析
与えられた3次元正規分布：
$\begin{pmatrix}X_1 \\ X_2 \\ X_3\end{pmatrix} \sim N\left(\begin{pmatrix}0\\0\\0\end{pmatrix}, \begin{pmatrix}4 & 2 & 1\\2 & 9 & 3\\1 & 3 & 16\end{pmatrix}\right)$
$X_1 = 1$が与えられた下での$X_2$の条件付き期待値を求めるため、以下のように分割：
- $\mathbf{X}_1 = X_1$（1次元）
- $\mathbf{X}_2 = \begin{pmatrix}X_2 \\ X_3\end{pmatrix}$（2次元）
対応する分割：
$\boldsymbol{\mu}_1 = 0, \quad \boldsymbol{\mu}_2 = \begin{pmatrix}0 \\ 0\end{pmatrix}$
$\Sigma_{11} = 4, \quad \Sigma_{12} = \begin{pmatrix}2 & 1\end{pmatrix}, \quad \Sigma_{21} = \begin{pmatrix}2 \\ 1\end{pmatrix}, \quad \Sigma_{22} = \begin{pmatrix}9 & 3 \\ 3 & 16\end{pmatrix}$
Step 3: 条件付き平均の詳細計算
条件付き平均の公式を適用：
$\boldsymbol{\mu}_{2|1} = \boldsymbol{\mu}_2 + \Sigma_{21}\Sigma_{11}^{-1}(x_1 - \boldsymbol{\mu}_1)$
各要素の計算：
- $\boldsymbol{\mu}_2 = \begin{pmatrix}0 \\ 0\end{pmatrix}$
- $\Sigma_{21} = \begin{pmatrix}2 \\ 1\end{pmatrix}$
- $\Sigma_{11}^{-1} = \frac{1}{4}$
- $(x_1 - \boldsymbol{\mu}_1) = 1 - 0 = 1$
$\boldsymbol{\mu}_{2|1} = \begin{pmatrix}0 \\ 0\end{pmatrix} + \begin{pmatrix}2 \\ 1\end{pmatrix} \cdot \frac{1}{4} \cdot 1 = \begin{pmatrix}\frac{1}{2} \\ \frac{1}{4}\end{pmatrix}$
したがって：
$E[X_2|X_1 = 1] = \frac{1}{2}$
結果の解釈
この結果は以下の重要な意味を持ちます：
| 項目 | 値 | 意味 |
|---|
| 無条件期待値 | $E[X_2] = 0$ | 事前情報なしの予測 |
| 条件付き期待値 | $E[X_2|X_1=1] = \frac{1}{2}$ | $X_1$情報による更新後の予測 |
| 改善幅 | $+\frac{1}{2}$ | 情報による予測精度向上 |
Step 4: 線形回帰としての解釈
多次元正規分布の条件付き期待値は、最適線形予測と等価です：
$E[X_2|X_1] = \beta_0 + \beta_1 X_1$
ここで回帰係数は：
$\beta_1 = \frac{\text{Cov}(X_1, X_2)}{\text{Var}(X_1)} = \frac{\Sigma_{12}}{\Sigma_{11}} = \frac{2}{4} = \frac{1}{2}$
$\beta_0 = E[X_2] - \beta_1 E[X_1] = 0 - \frac{1}{2} \cdot 0 = 0$
したがって：
$E[X_2|X_1] = \frac{1}{2}X_1$
$X_1 = 1$を代入すると：$E[X_2|X_1 = 1] = \frac{1}{2}$
Step 5: 共分散行列の正定値性確認
共分散行列が正定値であることを確認：
$\Sigma = \begin{pmatrix}4 & 2 & 1\\2 & 9 & 3\\1 & 3 & 16\end{pmatrix}$
主小行列式：
- $M_1 = 4 > 0$ ✓
- $M_2 = \det\begin{pmatrix}4 & 2\\2 & 9\end{pmatrix} = 36 - 4 = 32 > 0$ ✓
- $M_3 = \det(\Sigma) = 4(9 \cdot 16 - 9) - 2(2 \cdot 16 - 3) + 1(2 \cdot 3 - 9) = 4 \cdot 135 - 2 \cdot 29 + 1 \cdot (-3) = 540 - 58 - 3 = 479 > 0$ ✓
すべて正なので、$\Sigma$は正定値行列です。
条件付き分布の性質と応用
Step 6: 条件付き分散の計算
$X_2$の条件付き分散も計算できます：
$\text{Var}(X_2|X_1) = \Sigma_{22} - \Sigma_{21}\Sigma_{11}^{-1}\Sigma_{12} = 9 - \frac{2^2}{4} = 9 - 1 = 8$
これは$X_1$の情報により$X_2$の不確実性が$9 \to 8$に減少することを示します。
Step 7: 実用的応用
カルマンフィルタ：
状態推定において、観測値が得られるたびに状態の条件付き分布を更新：
$\mathbf{x}_{t|t} = \mathbf{x}_{t|t-1} + \mathbf{K}_t(\mathbf{y}_t - \mathbf{H}_t\mathbf{x}_{t|t-1})$
ガウス過程：
観測点での値が与えられた下での未観測点での予測分布：
$f_*|\mathbf{f}, \mathbf{X}, \mathbf{x}_* \sim N(\mathbf{k}_*^T\mathbf{K}^{-1}\mathbf{f}, k_{**} - \mathbf{k}_*^T\mathbf{K}^{-1}\mathbf{k}_*)$
洞察：
多次元正規分布の条件付き分布が再び正規分布となる性質は、共役性の一例です。この性質により、複雑な高次元問題でも解析的に扱うことが可能となり、機械学習やデータ科学の多くの手法の理論的基盤となっています。条件付き期待値$\frac{1}{2}$は、$X_1$と$X_2$の線形関係を反映し、最適予測ができるというわけです