数学基础W10:对称矩阵的谱分解

数学基础对称矩阵的谱分解

谱分解

对称矩阵的谱分解,即是对称矩阵的特征分解;

特征分解:$A=PDP^{-1}$;

矩阵可特征分解的条件:矩阵A的n个特征向量不同,即P是可逆的,即P的列向量线性无关.

特别的,当A是对称矩阵时,P作为特征向量构成的矩阵为正交矩阵;

谱分解在机器学习的应用

1. PCA降维

   最大特征值对应特征向量方向上往往含有较多有用信息,故矩阵在进行特征提取时可以放弃一些辅助的无用信息,仅保留较大的特征值.

2. 压缩

对称矩阵的好的性质

1. A是实对称矩阵,A的特征值是实数;
2. A是 n阶矩阵,下面三个命题等价;
   1. $A=A^T$
   2. $A=Q\Lambda Q^T,Q^T\Lambda Q=A$
   3. A的特征向量$q_1,q_2,…,q_n$是$R^n$的一组标准正交基;

副对称矩阵也有相应的对角化定理

谱分解定义

也可以将对称矩阵A,$A=Q\Lambda Q^T=\sum_{i=1}^n\lambda_iq_iq_i^T$,即在这里写成了rank-1矩阵和的形式;

特征分解的几何意义

$设A=\lambda_1q_1q_1^T+\lambda_2q_2q_2^T,显然q_1和q_2是两组基;$

$q_1^Tq_1=1;q_2^Tq_2=1;$

所以

谱分解与二次函数的优化

$Q(x)=x^TAx$,限制$||x||_2=1$;

$xQ(x)=xx^TAx=Ax$,故当x等于某个特征向量时,$Q(x)$是对应的特征值;

$Q(x){MAX}=\lambda{MAX}$;

$Q(x){MIN}=\lambda{MIN}$;

可以跟正半定矩阵特征值的性质相结合;$\lambda_{min}\ge0$;

无向图的拉普拉斯矩阵L=D-A是正半定矩阵,故有

min$x^TLx=0$;

所以,谱聚类问题转化成了相应的求次小特征值的问题;

瑞利商

$R(x)=\frac{x^TxA}{x^Tx}$

A是正半定矩阵等价于R(x)$\ge$0;

庞加莱不等式

令$A\in S^n$,V是$R^n$中的任意一个k维自空间;

存在单位向量x,y;
$$
x^TAx\le\lambda_k(A),y^TAy\ge\lambda_{n-k+1}(A)
$$

Poincare不等式的应用:极小极大准则

极大极小准则可以用于比较两个对称矩阵和的特征值和原矩阵特征值的大小关系:

赏

谢谢你请我吃糖果❤️

支付宝