この問題では、主成分分析（Principal Component Analysis, PCA）の基本原理と数学的性質について理解を深めます。PCAは多変量解析における最も基本的かつ重要な次元削減・特徴抽出手法であり、データサイエンス、統計学、機械学習において幅広く応用されています。
主成分分析の理論的基盤
主成分分析は、カール・ピアソン（1901）とハロルド・ホテリング（1933）によって開発された手法で、高次元データの本質的な構造を低次元で表現することを目的とします。その核心は、データの分散を最大化する新しい座標軸（主成分）を見つけることにあります。
主成分分析の基本概念
| 概念 | 数学的定義 | 統計的意味 |
|---|
| 主成分 | 共分散行列の固有ベクトル | データの変動方向を表す新しい軸 |
| 寄与率 | $\frac{\lambda_i}{\sum_{j=1}^p \lambda_j}$ | 各主成分が説明する分散の割合 |
| 累積寄与率 | $\frac{\sum_{j=1}^k \lambda_j}{\sum_{j=1}^p \lambda_j}$ | 上位k成分までの情報保持率 |
Step 1: 主成分分析の数学的定式化
共分散行列の固有値分解：
標準化されたデータ行列$\mathbf{X}$（$n \times p$）に対して、共分散行列は：
$\mathbf{S} = \frac{1}{n-1}\mathbf{X}^T\mathbf{X}$
この共分散行列の固有値分解により：
$\mathbf{S} = \mathbf{V}\mathbf{\Lambda}\mathbf{V}^T$
ここで：
- $\mathbf{\Lambda} = \text{diag}(\lambda_1, \lambda_2, \ldots, \lambda_p)$：固有値行列（$\lambda_1 \geq \lambda_2 \geq \cdots \geq \lambda_p \geq 0$）
- $\mathbf{V} = [\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_p]$：固有ベクトル行列（主成分の方向）
Step 2: 寄与率の計算と解釈
各主成分の寄与率：
$\text{寄与率}_i = \frac{\lambda_i}{\sum_{j=1}^p \lambda_j} = \frac{\lambda_i}{\text{trace}(\mathbf{S})}$
問題設定の分析：
3変数（$p=3$）のデータで：
- 第1主成分の寄与率：50% = 0.5
- 第2主成分の寄与率：30% = 0.3
- 第3主成分の寄与率：？
寄与率の総和は1になるため：
$\text{寄与率}_1 + \text{寄与率}_2 + \text{寄与率}_3 = 1$
$0.5 + 0.3 + \text{寄与率}_3 = 1$
$\text{寄与率}_3 = 0.2 = 20\%$
Step 3: 各選択肢の詳細検証
選択肢①：第3主成分が説明する分散の割合は20%である
この選択肢は正しいです。上記の計算により、第3主成分の寄与率は確実に20%となります。
Step 4: 第1主成分の最適性原理
選択肢②：第1主成分の方向は、データの分散が最大となる方向である
この選択肢は正しいです。これは主成分分析の根本原理です。
主成分の最適化問題
第1主成分$\mathbf{v}_1$は以下の制約付き最適化問題の解です：
$\max_{\mathbf{v}} \mathbf{v}^T\mathbf{S}\mathbf{v} \quad \text{subject to } \|\mathbf{v}\|^2 = 1$
ラグランジュ乗数法により：
$\mathbf{S}\mathbf{v}_1 = \lambda_1\mathbf{v}_1$
つまり、第1主成分は最大固有値$\lambda_1$に対応する固有ベクトルです。
Step 5: 主成分間の直交性
選択肢③：第2主成分は第1主成分と無相関である
この選択肢は正しいです。主成分分析の重要な性質として、異なる主成分は互いに直交（無相関）します。
$\mathbf{v}_i^T\mathbf{v}_j = \begin{cases} 1 & \text{if } i = j \\ 0 & \text{if } i \neq j \end{cases}$
この直交性により：
- 主成分スコア間の共分散はゼロ
- 主成分による分散分解が可能
- 情報の重複なく次元削減が実現
Step 6: 情報保持率の誤解
選択肢④：第1・第2主成分で元データの80%の情報を保持できる
この選択肢は正しくないです。これが答えです。
正確な解釈：
$\text{累積寄与率}_{1,2} = \frac{\lambda_1 + \lambda_2}{\lambda_1 + \lambda_2 + \lambda_3} = 0.5 + 0.3 = 0.8 = 80\%$
確かに第1・第2主成分で80%の**分散**を説明しますが、これは必ずしも80%の「情報」を保持することを意味しません。
分散 vs 情報の区別
| 概念 | 数学的定義 | PCAでの扱い |
|---|
| 分散の説明 | $\frac{\sum_{i=1}^k \lambda_i}{\sum_{i=1}^p \lambda_i}$ | 直接的に測定可能 |
| 情報の保持 | タスク・文脈依存 | 間接的推論のみ |
| 情報損失 | 再構築誤差、予測精度等 | タスク固有の評価が必要 |
なぜ「情報」≠「分散」なのか：
- タスク依存性：重要な情報は分析の目的によって異なる
- 非線形関係：PCAは線形変換のみを考慮、非線形パターンは捉えられない
- 外れ値の影響：分散は外れ値に敏感、本質的情報と無関係な分散も含む
- 解釈可能性：主成分は元変数の線形結合で、解釈困難な場合がある
Step 7: 主成分分析の数学的性質
PCAの重要な性質
- 分散保存性：$\sum_{i=1}^p \lambda_i = \text{trace}(\mathbf{S}) = \sum_{i=1}^p \text{Var}(X_i)$
- 最適近似性：k次元での最適線形近似を提供
- 回転不変性：直交変換に対して不変
- 中心化依存性：データの中心化が結果に影響
- スケール依存性：変数のスケールが結果に大きく影響
Step 8: 実用的な考慮事項
主成分数の決定方法：
主成分数選択の基準
- 累積寄与率基準：通常80-90%以上を目安
- Kaiser基準：固有値が1以上の成分を選択
- スクリー基準：固有値プロットでの「肘」を確認
- クロスバリデーション：予測精度による客観的評価
- 並行分析：ランダムデータとの比較
Step 9: 標準化の重要性
標準化 vs 非標準化：
$\text{標準化後: } Z_{ij} = \frac{X_{ij} - \bar{X}_j}{s_j}$
標準化の有無により結果が大きく変わる場合があります：
- 標準化あり：変数間のスケール差を除去、相関行列ベース
- 標準化なし：元のスケールを保持、共分散行列ベース
Step 10: PCAの限界と発展
PCAの限界と代替手法
| 限界 | 原因 | 代替手法 |
|---|
| 非線形パターン | 線形変換の制約 | Kernel PCA、t-SNE、UMAP |
| 解釈困難性 | 主成分の複雑性 | Factor Analysis、ICA |
| 外れ値感度 | 分散最大化原理 | Robust PCA、ICA |
| スパース性なし | 全変数の線形結合 | Sparse PCA、LASSO |
統計学的洞察：
主成分分析における「情報保持」の概念は、しばしば誤解されます。PCAが保証するのは分散の説明であり、これは必ずしもタスクに関連する情報の保持を意味しません。80%の分散を説明することと、80%の情報を保持することは別概念です。真の情報保持率は、具体的なタスク（分類、回帰、クラスタリング等）での性能で評価すべきです。この区別を理解することは、PCAを適切に活用し、その限界を認識する上で重要です。