特異値分解（SVD）の計算
特異値分解は任意の実行列を$\mathbf{A} = \mathbf{U}\mathbf{\Sigma}\mathbf{V}^T$の形に分解する重要な行列分解手法です。データ分析、主成分分析、機械学習など様々な分野で活用されています。
特異値分解の理論的基盤
Step 1: 特異値分解の定義
任意の$m \times n$実行列$\mathbf{A}$は以下のように分解できます：
$\mathbf{A} = \mathbf{U}\mathbf{\Sigma}\mathbf{V}^T$
ここで：
- $\mathbf{U}$：$m \times m$直交行列（左特異ベクトル）
- $\mathbf{\Sigma}$：$m \times n$対角行列（特異値）
- $\mathbf{V}$：$n \times n$直交行列（右特異ベクトル）
Step 2: 与えられた行列の確認
行列$\mathbf{A}$：
$\mathbf{A} = \begin{pmatrix} 3 & 2 & 2 \\ -1 & 0 & 2 \end{pmatrix}$
この行列は$2 \times 3$なので、最大で2個の特異値を持ちます。
Step 3: $\mathbf{A}^T\mathbf{A}$の計算
特異値は$\mathbf{A}^T\mathbf{A}$の固有値の平方根として求められます。
$\mathbf{A}^T = \begin{pmatrix} 3 & -1 \\ 2 & 0 \\ 2 & 2 \end{pmatrix}$
$\mathbf{A}^T\mathbf{A} = \begin{pmatrix} 3 & -1 \\ 2 & 0 \\ 2 & 2 \end{pmatrix} \begin{pmatrix} 3 & 2 & 2 \\ -1 & 0 & 2 \end{pmatrix}$
要素ごとの計算：
- $(1,1)$要素：$3 \times 3 + (-1) \times (-1) = 9 + 1 = 10$
- $(1,2)$要素：$3 \times 2 + (-1) \times 0 = 6$
- $(1,3)$要素：$3 \times 2 + (-1) \times 2 = 6 - 2 = 4$
- $(2,1)$要素：$2 \times 3 + 0 \times (-1) = 6$
- $(2,2)$要素：$2 \times 2 + 0 \times 0 = 4$
- $(2,3)$要素：$2 \times 2 + 0 \times 2 = 4$
- $(3,1)$要素：$2 \times 3 + 2 \times (-1) = 6 - 2 = 4$
- $(3,2)$要素：$2 \times 2 + 2 \times 0 = 4$
- $(3,3)$要素：$2 \times 2 + 2 \times 2 = 4 + 4 = 8$
$\mathbf{A}^T\mathbf{A} = \begin{pmatrix} 10 & 6 & 4 \\ 6 & 4 & 4 \\ 4 & 4 & 8 \end{pmatrix}$
Step 4: $\mathbf{A}\mathbf{A}^T$の計算（効率的な方法）
$2 \times 2$行列の固有値計算の方が簡単なので、$\mathbf{A}\mathbf{A}^T$を計算します：
$\mathbf{A}\mathbf{A}^T = \begin{pmatrix} 3 & 2 & 2 \\ -1 & 0 & 2 \end{pmatrix} \begin{pmatrix} 3 & -1 \\ 2 & 0 \\ 2 & 2 \end{pmatrix}$
要素ごとの計算：
- $(1,1)$要素：$3^2 + 2^2 + 2^2 = 9 + 4 + 4 = 17$
- $(1,2)$要素：$3 \times (-1) + 2 \times 0 + 2 \times 2 = -3 + 0 + 4 = 1$
- $(2,1)$要素：$(-1) \times 3 + 0 \times 2 + 2 \times 2 = -3 + 0 + 4 = 1$
- $(2,2)$要素：$(-1)^2 + 0^2 + 2^2 = 1 + 0 + 4 = 5$
$\mathbf{A}\mathbf{A}^T = \begin{pmatrix} 17 & 1 \\ 1 & 5 \end{pmatrix}$
Step 5: 固有値の計算
$2 \times 2$行列の固有値を求めるため、特性方程式を立てます：
$\det(\mathbf{A}\mathbf{A}^T - \lambda \mathbf{I}) = 0$
$\det\begin{pmatrix} 17-\lambda & 1 \\ 1 & 5-\lambda \end{pmatrix} = 0$
$(17-\lambda)(5-\lambda) - 1 \times 1 = 0$
$85 - 17\lambda - 5\lambda + \lambda^2 - 1 = 0$
$\lambda^2 - 22\lambda + 84 = 0$
Step 6: 2次方程式の解
2次方程式$\lambda^2 - 22\lambda + 84 = 0$を解きます：
$\lambda = \frac{22 \pm \sqrt{22^2 - 4 \times 1 \times 84}}{2 \times 1}$
$= \frac{22 \pm \sqrt{484 - 336}}{2}$
$= \frac{22 \pm \sqrt{148}}{2}$
$= \frac{22 \pm 2\sqrt{37}}{2}$
$= 11 \pm \sqrt{37}$
$\sqrt{37}$の計算：
$6^2 = 36$, $6.1^2 = 37.21$なので、$\sqrt{37} \approx 6.08$
固有値：
- $\lambda_1 = 11 + \sqrt{37} \approx 11 + 6.08 = 17.08$
- $\lambda_2 = 11 - \sqrt{37} \approx 11 - 6.08 = 4.92$
Step 7: 特異値の計算
特異値は固有値の平方根：
$\sigma_1 = \sqrt{\lambda_1} = \sqrt{17.08} \approx 4.13$
$\sigma_2 = \sqrt{\lambda_2} = \sqrt{4.92} \approx 2.22$
特異値分解の性質
- 特異値の順序：$\sigma_1 \geq \sigma_2 \geq \cdots \geq 0$
- フロベニウスノルム：$\|\mathbf{A}\|_F^2 = \sum_i \sigma_i^2$
- 作用素ノルム：$\|\mathbf{A}\|_2 = \sigma_1$
- ランク：$\text{rank}(\mathbf{A})$は非零特異値の個数
Step 8: 検証計算
フロベニウスノルム：
$\|\mathbf{A}\|_F^2 = 3^2 + 2^2 + 2^2 + (-1)^2 + 0^2 + 2^2 = 9 + 4 + 4 + 1 + 0 + 4 = 22$
特異値による確認：
$\sigma_1^2 + \sigma_2^2 = 17.08 + 4.92 = 22.00$ ✓
Step 9: 幾何学的解釈
第1特異値$\sigma_1 = 4.13$は：
- 行列$\mathbf{A}$の最大の「伸縮係数」
- 任意の単位ベクトルに$\mathbf{A}$を作用させたときの最大出力長
- データの主要な変動方向の強度
特異値分解の応用
Step 10: 実用的応用
- 主成分分析：データ行列の特異値分解
- 画像圧縮：低ランク近似による圧縮
- 推薦システム：協調フィルタリング
- 自然言語処理：潜在的意味解析
- 信号処理：ノイズ除去、特徴抽出
低ランク近似：
第1特異値のみを用いた近似：
$\mathbf{A}_1 = \sigma_1 \mathbf{u}_1 \mathbf{v}_1^T$
これは$\mathbf{A}$の最良のランク1近似となります。
計算結果のまとめ
| 項目 | 値 | 意味 |
|---|
| 第1特異値 | $\sigma_1 = 4.13$ | 最大の伸縮係数 |
| 第2特異値 | $\sigma_2 = 2.22$ | 2番目の伸縮係数 |
| 条件数 | $\kappa = \sigma_1/\sigma_2 = 1.86$ | 数値的安定性 |
| 行列のランク | 2 | 線形独立な行・列の数 |
したがって、第1特異値は$\sigma_1 = 4.13$です。