数学基础W10:矩阵的SVD分解

阅读数: 4次 2020-05-28

#数学基础W10:矩阵的SVD分解

面对方阵:

A=LU
A=QR
A= $Q\Lambda Q$
正定矩阵的cholosky分解

面对非方阵:

$A_{m\times n}=SVD$ ;

数学基础的重点;

图像压缩:利用SVD的图像压缩

奇异值分解基于特征向量的矩阵变换方法;

图像压缩:减少冗余提高效率;

某种意义上冗余可以看作成噪声;

压缩:保留大的特征值

新的压缩方法:SVD分解把获得的奇异值，取其中比较大的（类同特征值提取的压缩方法）

奇异值，舍去较小的奇异值，以达到数字图像压缩的目的。

若考虑图像的局部平稳性，也可以对图像分块奇异值分解去噪，这样能在一定程度上保护图像的边缘细节。

低于门限的奇异值置为0.a.k.a截断奇异值分解=有损压缩.

奇异值分解

定义: $A_{m\times n}=U\Sigma V^T$

其中 U 是 m 阶正交矩阵。V 是 n 阶正交矩阵，

Σ 是由降序排列的非负的对角线元素组成 $m\times n$ 对角矩阵;

对角矩阵上的元素称为矩阵的奇异值.

U 的列向量称为左奇异向量，V的列向量称为右奇异向量。

虚线与截断,截断以后有了进一步约束;

完全奇异值分解;

任何一个矩阵总能构造一个奇异值分解,矩阵的奇异值分解是不唯一的;

当 $m=n$ 时,即考虑方阵的对角化.

几何解释

从线性变换的角度理解奇异值分解，m × n矩阵 A 表示从 n 维空间 $R^n$ 到 m 维空间 Rm的一个线性变换;

该线性变换可以分为如下3种变换:

1-2-U, $v^T$ 是正交矩阵表示成旋转或反射;

3- $\Sigma$ 是坐标轴的缩放变换;

先 $V^T$ 对x进行旋转或反射,再变基,转化完基以后,再反射;

对于 SVD 来说，分别改变了 $R^n$ 和 $R^m$ 两个空间的基底。

而特征分解仅仅是在同一个空间中做变换。

正交矩阵的线性变换意义是旋转或反射变换.

奇异值分解的存在性定理保证奇异值分解一定是存在的.

矩阵的基变换

紧奇异值分解和截断奇异值分解

紧奇异值分解与原始矩阵等rank, $U_{m\times r}$

$A=U_r\Sigma_rV_r^T$ ,其中 $\Sigma_r$ 是r阶对角矩阵, $U_r$ 是完全奇异值分解中U的前r列.

在上面的例子中,如果我们取其中两个非0的奇异值,则得到了阶段奇异值分解

截断奇异值分解比原始矩阵低rank,分解降到rank=k,k<r, $U_{m\times k}$ 其中 $U ∈ R_{m×k}$ , $V ∈ R_{n×k}$ ， $Σ_r$ 是 k 阶对角矩阵；

矩阵 $U_r$ 由完全奇异值分解中 U 的前 k列、矩阵 Σk 由 Σ 的前 k 个对角线元素得到，紧奇异值分解的对角矩阵 Σ*k* 的秩比原始矩阵 A 的秩低。

在实际应用中，常常需要对矩阵的数据进行压缩，将其近似表示，奇异值分解提供了一种方法。

后面将要叙述，奇异值分解是在平方损失意义下对矩阵的最优近似。

紧奇异值对应着无损压缩，

截断奇异值分解对应着有损压缩,截断奇异值分解会很大的减少计算量.

奇异值分解存在性定理

对于对称矩阵来说，奇异值分解总是存在的。因为，我们知道如果 A 是对称矩阵，那么存在一个正交矩阵 P 使得 A 有特征分解 $A =PΣP^T$ ;

此时我们令 U = P = V 那么就有

$A =UΣV^T$

所以对称矩阵的奇异值分解就是他们的特征分解。

即奇异值分解一定可以保证存在性,不一定可以保证唯一性;

奇异值分解的计算

即先求 $A^TA$ 的特征值和特好着呢个响亮,特征值的平方根为奇异值.

求正奇异值对应的左奇异向量,再求扩充的 $A^T$ 的标准正交基,即A的左零空间的标准正交基.

基于A的正奇异值计算可得到列向量.A的左零空间的标准正交基.

$A^TA=V\Sigma V^T,A^TA是一个n阶的实对称矩阵$

对任意一个长方形矩阵,我们都可以构造一个对称正半定矩阵的:

由非方阵,我们总是可以得到一个对称矩阵,不仅是一个对称矩阵,更是一个正半定矩阵;

即 $A^TA$ 是一个正半定矩阵;

$A=U\Sigma V^T$ , $u_1,u_2,…,u_r$ 是Col(A)的一组标准正交基;

$u_{r+1},u_{m}$ 是A的左零空间的一组标准正交基;

$v_1,v_2,…v_r$ 是 $A^TA$ 的正特征值对应的特征向量, $v_{r+1},…,v_n$ 为特征值0的特征向量;

SVD 分解的algorithm:

奇异值分解定理的证明的过程蕴含了奇异值分解的计算方法。

矩阵 A 的奇异值分解可以通过求对称矩阵 ATA的特征值和特征向量得到。ATA* 的特征向量构成正交矩阵的列；ATA 的特征值 λ*j 的平方根为奇异值 σ**j 即

σ**j = √λ*j

对奇异值由大到小排列作为对角线元素，构成对角矩阵 Σ；

求正奇异值对应的左奇异向量，再求扩充的 AT 的标准正交基，构成正交矩阵 U 的列。从而得到 A 的奇异值分解.

A = $UΣV^T$

截屏2020-05-12下午2.42.22.png

截屏2020-05-12下午2.47.49.png

截屏2020-05-12下午2.49.17.png

奇异值分解的性质.

$A^TA.AA^T$ 的特征分解存在,且可以由矩阵A的奇异值分解的矩阵表示.

V的列向量是 $A^TA$ 的特征向量;

U的列向量是 $AA^T$ 的特征向量.

$\Sigma$ 是奇异值是这两个正半定矩阵的特征值的平方根
奇异值分解中,奇异值是唯一的,而两个正交矩阵 $U,V$ 不是唯一的.

奇异值分解和特征分解的关系

截屏2020-05-12下午2.44.51.png