数学基础W11:奇异值分解与优化
通过奇异值分解给出定理保证矩阵的低秩近似是存在的.
- 将矩阵A表示成rank-1矩阵的和.
矩阵的最优近似
定理1
给出了矩阵A和A^的误差大小
A^是阶段性的奇异值分解.rank(A^)<rank(A)
$||A-X||_F=min||A-S||_F$
称X为矩阵A在F范数 下的最优近似.
F范数:平凡和再发方
谱范数:矩阵最大的特征值/奇异值(2范数)
定理2
通过矩阵的奇异值分解,在F范数的意义下.可以求出近似矩阵X.即用A的截断奇异值分解来代表X.
$A=U\Sigma V^T$
矩阵分解的应用
线性方程组的求解
- 直接法
- 迭代法:很难求出解析解,只能求出近似解.
线性方程组的描述
$Ax=y$,
讨论线性方程组解的存在唯一性.
即去讨论矩阵A的性质.