#数学基础W10:矩阵的SVD分解
面对方阵:
- A=LU
- A=QR
- A=$Q\Lambda Q$
- 正定矩阵的cholosky分解
面对非方阵:
$A_{m\times n}=SVD$;
数学基础的重点;
图像压缩:利用SVD的图像压缩
奇异值分解基于特征向量的矩阵变换方法;
图像压缩:减少冗余提高效率;
某种意义上冗余可以看作成噪声;
压缩:保留大的特征值
新的压缩方法:SVD分解 把获得的奇异值，取其中比较大的（类同特征值提取的压缩方法）
奇异值，舍去较小的奇异值，以达到数字图像压缩的目的。
若考虑图像的局部平稳性，也可以对图像分块奇异值分解去噪，这样能在一定程度上保护图像的边缘细节。
低于门限的奇异值置为0.a.k.a截断奇异值分解=有损压缩.
奇异值分解
定义:$A_{m\times n}=U\Sigma V^T$
其中 U 是 m 阶正交矩阵。V 是 n 阶正交矩阵，
Σ 是由降序排列的非负的对角线元素组成$m\times n$对角矩阵;
对角矩阵上的元素称为矩阵的奇异值.
U 的列向量称为左奇异向量，V的列向量称为右奇异向量。
虚线与截断,截断以后有了进一步约束;
完全奇异值分解;
任何一个矩阵总能构造一个奇异值分解,矩阵的奇异值分解是不唯一的;
当$m=n$时,即考虑方阵的对角化.
几何解释
从线性变换的角度理解奇异值分解，m × n矩阵 A 表示从 n 维空间$ R^n$ 到 m 维空间 Rm的一个线性变换;
该线性变换可以分为如下3种变换:
1-2-U,$v^T$是正交矩阵表示成旋转或反射;
3-$\Sigma$是坐标轴的缩放变换;
先$V^T$对x进行旋转或反射,再变基,转化完基以后,再反射;
对于 SVD 来说，分别改变了$R^n$ 和 $R^m$ 两个空间的基底。
而特征分解仅仅是在同一个空间中做变换。
- 正交矩阵的线性变换意义是旋转或反射变换.
奇异值分解的存在性定理保证奇异值分解一定是存在的.
紧奇异值分解和截断奇异值分解
紧奇异值分解与原始矩阵等rank,$U_{m\times r}$
$A=U_r\Sigma_rV_r^T$,其中$\Sigma_r$是r阶对角矩阵,$U_r$是完全奇异值分解中U的前r列.
在上面的例子中,如果我们取其中两个非0的奇异值,则得到了阶段奇异值分解
截断奇异值分解比原始矩阵低rank,分解降到rank=k,k<r,$U_{m\times k}$其中 $U ∈ R_{m×k}$, $V ∈ R_{n×k}$，$Σ_r$是 k 阶对角矩阵；
矩阵$U_r$ 由完全奇异值分解中 U 的前 k列、矩阵 Σk 由 Σ 的前 k 个对角线元素得到，紧奇异值分解的对角矩阵 Σ*k* 的秩比原始矩阵 A 的秩低。
在实际应用中，常常需要对矩阵的数据进行压缩，将其近似表示，奇异值分解提供了一种方法。
后面将要叙述，奇异值分解是在平方损失意义下对矩阵的最优近似。
紧奇异值对应着无损压缩，
截断奇异值分解对应着有损压缩,截断奇异值分解会很大的减少计算量.
奇异值分解存在性定理
对于对称矩阵来说，奇异值分解总是存在的。因为，我们知道如果 A 是对称矩阵，那么存在一个正交矩阵 P 使得 A 有特征分解$A =PΣP^T$;
此时我们令 U = P = V 那么就有
$A =UΣV^T$
所以对称矩阵的奇异值分解就是他们的特征分解。
即奇异值分解一定可以保证存在性,不一定可以保证唯一性;
奇异值分解的计算
即先求$A^TA$的特征值和特好着呢个响亮,特征值的平方根为奇异值.
求正奇异值对应的左奇异向量,再求扩充的$A^T$的标准正交基,即A的左零空间的标准正交基.
基于A的正奇异值计算可得到列向量.A的左零空间的标准正交基.
$A^TA=V\Sigma V^T,A^TA是一个n阶的实对称矩阵$
对任意一个长方形矩阵,我们都可以构造一个对称正半定矩阵的:
由非方阵,我们总是可以得到一个对称矩阵,不仅是一个对称矩阵,更是一个正半定矩阵;
即$A^TA$是一个正半定矩阵;
$A=U\Sigma V^T$,$u_1,u_2,…,u_r$是Col(A)的一组标准正交基;
$u_{r+1},u_{m}$是A的左零空间的一组标准正交基;
$v_1,v_2,…v_r$是$A^TA$的正特征值对应的特征向量,$v_{r+1},…,v_n$为特征值0的特征向量;
SVD 分解的algorithm:
奇异值分解定理的证明的过程蕴含了奇异值分解的计算方法。
矩阵 A 的奇异值分解可以通过求对称矩阵 ATA的特征值和特征向量得到。ATA* 的特征向量构成正交矩阵的列；ATA 的特征值 λ*j 的平方根为奇异值 σ**j 即
σ**j = √λ*j
对奇异值由大到小排列作为对角线元素，构成对角矩阵 Σ；
求正奇异值对应的左奇异向量，再求扩充的 AT 的标准正交基，构成正交矩阵 U 的列。从而得到 A 的奇异值分解.
A = $UΣV^T$
奇异值分解的性质.
$A^TA.AA^T$的特征分解存在,且可以由矩阵A的奇异值分解的矩阵表示.
V的列向量是$A^TA$的特征向量;
U的列向量是$AA^T$的特征向量.
$\Sigma$是奇异值是这两个正半定矩阵的特征值的平方根
奇异值分解中,奇异值是唯一的,而两个正交矩阵$U,V$不是唯一的.
奇异值分解和特征分解的关系
