この問題では、多変量正規分布の共分散構造について理解を深めます。多変量正規分布は統計学における分布の一つで、幅広い分野で基礎となる概念です。
多変量正規分布：高次元確率モデルの基礎
多変量正規分布は、ガウスによって体系化され、高次元データ解析の理論的基盤となっています。単変量正規分布の自然な拡張として、複数の確率変数間の線形関係を記述する基本的なモデルです。
Step 1: 多変量正規分布の数学的定義
$k$次元多変量正規分布$N(\boldsymbol{\mu}, \Sigma)$は以下で定義されます：
$f(\mathbf{x}) = \frac{1}{(2\pi)^{k/2}|\Sigma|^{1/2}} \exp\left(-\frac{1}{2}(\mathbf{x} - \boldsymbol{\mu})^T \Sigma^{-1} (\mathbf{x} - \boldsymbol{\mu})\right)$
ここで：
- $\boldsymbol{\mu} \in \mathbb{R}^k$：平均ベクトル
- $\Sigma \in \mathbb{R}^{k \times k}$：共分散行列（正定値対称行列）
- $|\Sigma|$：共分散行列の行列式
共分散行列
共分散行列$\Sigma$は分布の形状を完全に決定します：
- 対角成分：各変数の分散（ばらつきの大きさ）
- 非対角成分：変数間の共分散（線形関係の強さ）
- 固有値：主軸方向の分散の大きさ
- 固有ベクトル：分布の主軸方向
Step 2: 相関係数の理論的基礎
相関係数（ピアソンの積率相関係数）は、線形関係の強さを測る基本的指標です：
$\rho_{XY} = \frac{\text{Cov}(X,Y)}{\sqrt{\text{Var}(X)} \sqrt{\text{Var}(Y)}} = \frac{\sigma_{XY}}{\sigma_X \sigma_Y}$
相関係数の性質：
- 標準化：$-1 \leq \rho_{XY} \leq 1$
- 対称性：$\rho_{XY} = \rho_{YX}$
- 単位不変性：変数のスケール変換に不変
- 線形変換：線形関係のみを捉える
Step 3: 共分散行列の詳細解析
与えられた共分散行列：
$\Sigma = \begin{pmatrix}4 & 2\\2 & 9\end{pmatrix}$
行列要素の解釈：
共分散行列の読み方
| 位置 | 値 | 意味 |
|---|
| $\Sigma_{11}$ | $\text{Var}(X) = 4$ | $X$の分散 |
| $\Sigma_{22}$ | $\text{Var}(Y) = 9$ | $Y$の分散 |
| $\Sigma_{12} = \Sigma_{21}$ | $\text{Cov}(X,Y) = 2$ | $X$と$Y$の共分散 |
Step 4: 標準偏差の計算
各変数の標準偏差：
\begin{align}\sigma_X &= \sqrt{\text{Var}(X)} = \sqrt{4} = 2 \\\sigma_Y &= \sqrt{\text{Var}(Y)} = \sqrt{9} = 3\end{align}
Step 5: 相関係数の詳細計算
\begin{align}\rho_{XY} &= \frac{\text{Cov}(X,Y)}{\sigma_X \sigma_Y} \\&= \frac{2}{2 \times 3} \\&= \frac{2}{6} \\&= \frac{1}{3} \approx 0.333\end{align}
結果の解釈と意味
Step 6: 相関係数の統計的解釈
$\rho_{XY} = \frac{1}{3} \approx 0.333$は：
- 正の相関：$X$が増加すると$Y$も増加する傾向
- 中程度の強さ：完全な線形関係ではないが、明確な関係性
- 決定係数：$\rho^2 = \frac{1}{9} \approx 0.111$（約11%の分散を説明）
相関の強さの目安
| 相関係数の範囲 | 関係の強さ | 今回の値 |
|---|
| $|\rho| < 0.3$ | 弱い相関 | - |
| $0.3 \leq |\rho| < 0.7$ | 中程度の相関 | $\rho = 0.333$ ✓ |
| $|\rho| \geq 0.7$ | 強い相関 | - |
多変量正規分布の幾何学的性質
Step 7: 分布の形状分析
共分散行列の固有値と固有ベクトルを求めて分布の形状を理解：
固有値方程式：
$\det(\Sigma - \lambda I) = \det\begin{pmatrix}4-\lambda & 2\\2 & 9-\lambda\end{pmatrix} = (4-\lambda)(9-\lambda) - 4 = 0$
$\lambda^2 - 13\lambda + 32 = 0$
固有値：
$\lambda_1 = \frac{13 + \sqrt{169-128}}{2} = \frac{13 + \sqrt{41}}{2} \approx 9.70$
$\lambda_2 = \frac{13 - \sqrt{41}}{2} \approx 3.30$
これにより、分布の楕円形状が決定されます。
性質：
多変量正規分布において：
- 周辺分布：各変数は正規分布に従う
- 条件付き分布：条件付き分布も正規分布
- 独立性：$\rho_{XY} = 0 \Leftrightarrow X \perp Y$（正規分布の場合のみ）
- 線形結合：任意の線形結合も正規分布
深い洞察：
相関係数$\frac{1}{3}$は、$X$と$Y$が中程度の正の線形関係を持つことを示します。多変量正規分布では、この相関構造が分布の楕円形状を決定し、条件付き分布や線形予測の精度に直接影響します。現実の多次元データ分析では、このような相関構造の理解が、適切なモデル選択と解釈の鍵となります。