Сингулярное разложение (англ. Singular Value Decomposition) — декомпозиция вещественной матрицы с целью ее приведения к каноническому виду.
| Теорема (Сингулярное разложение): |
У любой матрицы [math] A [/math] размера [math] n \times m [/math] существует разложение на матрицы [math] U, \Sigma, V^T [/math]: [math] A_{n \times m} = U_{n \times n} \times \Sigma_{n \times m} \times V^T_{m \times m} [/math].
При этом, матрицы [math]U_{n \times n}[/math] и [math]V_{m \times m}[/math] являются ортогональными, а матрица [math]\Sigma_{n \times m} [/math] — диагональной. |
Свойства
Пусть дана матрица [math] F_{n \times m} [/math]. Тогда [math] F [/math] можно представить в следующем виде:
[math] F_{n \times m} = U_{n \times n} \times \Sigma_{n \times m} \times V^T_{m \times m} [/math].
Основные свойства сингулярного разложения:
- [math] n \times n [/math]-матрица [math] U = (v_1, \dots, v_n) [/math] ортогональна, [math] V^T V = I_n [/math],столбцы [math] v_j [/math] — собственные векторы матрицы [math] F F^T [/math];
- [math] m \times m [/math]-матрица [math] V = (u_1, \dots, u_m) [/math] ортогональна, [math] U^T U = I_m [/math],столбцы [math] u_j [/math] — собственные векторы матриц [math] F^T F [/math];
- [math] n \times m [/math]-матрица [math] \Sigma_{n \times m} [/math] — диагональная, [math] \Sigma_{n \times m} = diag(\sqrt{\lambda_1}, \dots, \sqrt{\lambda_n}) [/math], [math] \lambda_j \geq 0 [/math] — собственные значения матриц [math] F^T F [/math] и [math] F F^T [/math],
[math] \sqrt{ \lambda_j } [/math] — сингулярные числа матрицы [math] F [/math].
Матрицы [math] U, V [/math] ортогональные, [math] \Sigma [/math] — диагональная:
[math] UU^T = I_n[/math],[math]VV^T = I_m[/math], [math] \Sigma = diag(\lambda_1,\dots,\lambda_{min(n, m)})[/math], [math]\lambda_1 \geq \dots \geq \lambda_{min(n, m)} \geq 0 [/math] .
Усеченное разложение
Усеченное разложение — когда из лямбд, остаются только первые [math] d [/math] чисел, а остальные полагаются равными нулю.
[math] \lambda_{d+1},\dots,\lambda_{min(n,m)} = 0 [/math]
Значит у матриц [math] U [/math] и [math] V [/math] остаются только первые [math] d [/math] столбцов, а матрица [math] \Sigma [/math] становится квадратной размером [math] d \times d [/math].
[math] A'_{n \times m} = U'_{n \times d} \times \Sigma'_{d \times d} \times V'^T_{d \times m} [/math].
Полученная матрица [math] A'[/math] хорошо приближает исходную матрицу [math] A[/math]. Более того, является наилучшим низкоранговым приближением с точки зрения средне-квадратичного отклонения.
