特異値分解(Singular Value Decomposition; SVD)は、行列による線形変換を、回転、尺度変換、もう一つの回転で表したものです。特異値分解は、n x pの行列Xを次のように分解します。
rXのランクとします。また、r x rの単位行列をIrとします。
行列UDiag(Λ)、およびVには、次のような性質があります。
Uは、U’U = Irを満たすn x rの準直交行列
Vは、V’V = Irを満たすp x rの準直交行列
Diag(Λ)は、列ベクトルを対角要素に持つr x rの対角行列。ここで、
λiは、Xの0以外の特異値です。
λiの2乗は、X’Xの0以外の固有値です。
Vr列は、X’Xの固有ベクトルです。
メモ: 行列UV、および特異値に関し、行列の次元に応じていくつかの異なる表現方法が文献で紹介されています。しかし、それらには、Xのランクまでの特異値分解に関しては根本的な違いはありません。
詳細については、Press et al.(1998, Section 2.6)を参照してください。