Сингулярное разложение

Сингулярное разложение (англ. Singular Value Decomposition) — декомпозиция вещественной матрицы с целью ее приведения к каноническому виду.

Теорема (Сингулярное разложение):

У любой матрицы [math] A [/math] размера [math] n \times m [/math] существует разложение на матрицы [math] U, \Sigma, V^T [/math]: [math] A_{n \times m} = U_{n \times n} \times \Sigma_{n \times m} \times V^T_{m \times m} [/math]. При этом, матрицы [math]U_{n \times n}[/math] и [math]V_{m \times m}[/math] являются ортогональными, а матрица [math]\Sigma_{n \times m} [/math] — диагональной.

Свойства

Пусть дана матрица [math] F_{n \times m} [/math]. Тогда [math] F [/math] можно представить в следующем виде:

[math] F_{n \times m} = U_{n \times n} \times \Sigma_{n \times m} \times V^T_{m \times m} [/math].

Основные свойства сингулярного разложения:

• [math] n \times n [/math]-матрица [math] U = (v_1, \dots, v_n) [/math] ортогональна, [math] V^T V = I_n [/math],столбцы [math] v_j [/math] — собственные векторы матрицы [math] F F^T [/math];
• [math] m \times m [/math]-матрица [math] V = (u_1, \dots, u_m) [/math] ортогональна, [math] U^T U = I_m [/math],столбцы [math] u_j [/math] — собственные векторы матриц [math] F^T F [/math];
• [math] n \times m [/math]-матрица [math] \Sigma_{n \times m} [/math] — диагональная, [math] \Sigma_{n \times m} = diag(\sqrt{\lambda_1}, \dots, \sqrt{\lambda_n}) [/math], [math] \lambda_j \geq 0 [/math] — собственные значения матриц [math] F^T F [/math] и [math] F F^T [/math],
  [math] \sqrt{ \lambda_j } [/math] — сингулярные числа матрицы [math] F [/math].

Матрицы [math] U, V [/math] ортогональные, [math] \Sigma [/math] — диагональная: [math] UU^T = I_n[/math],[math]VV^T = I_m[/math], [math] \Sigma = diag(\lambda_1,\dots,\lambda_{min(n, m)})[/math], [math]\lambda_1 \geq \dots \geq \lambda_{min(n, m)} \geq 0 [/math] .

Усеченное разложение

Усеченное разложение — когда из лямбд, остаются только первые [math] d [/math] чисел, а остальные полагаются равными нулю.

[math] \lambda_{d+1},\dots,\lambda_{min(n,m)} = 0 [/math]

Значит у матриц [math] U [/math] и [math] V [/math] остаются только первые [math] d [/math] столбцов, а матрица [math] \Sigma [/math] становится квадратной размером [math] d \times d [/math].

[math] A'_{n \times m} = U'_{n \times d} \times \Sigma'_{d \times d} \times V'^T_{d \times m} [/math].

Полученная матрица [math] A'[/math] хорошо приближает исходную матрицу [math] A[/math]. Более того, является наилучшим низкоранговым приближением с точки зрения средне-квадратичного отклонения.