02-6线性代数-特征值、特征向量、相似对角化、矩阵分解

特征值，特征向量

前言

矩阵对向量可以做拉伸也可以做旋转：

特征值、特征向量定义

A为n阶矩阵，若数λ和n维非0列向量x满足Ax=λx，那么数λ称为A的特征值，x称为A的对应于特征值λ的特征向量。并且|λE-A|叫做A的特征多项式。当特征多项式等于0的时候，称为A的特征方程，特征方程是一个齐次线性方程组，求解特征值的过程其实就是求解特征方程的解。

几何理解

对于给定矩阵A，寻找一个常数λ和非零向量x，使得向量x被矩阵A作用后所得的向量Ax与原向量x平行，并且满足Ax=λx，那么数λ称为A的特征值，x称为A的对应于特征值λ的特征向量。

实战应用

数据降维

在进行数据降维时，一个特征矩阵，假设是10维（10列数据），我们可以拆分成10个特征向量，然后分别计算出每个向量的对应的特征值，然后我们就可以根据特征值大小进行特征选择。

数据压缩

既然特征值表达了重要程度且和特征向量所对应，那么特征值大的就是主要信息了，基于这点我们可以提取各种有价值的信息了！

例如：图片都可以使用三维矩阵进行表示：H/W/C（高度、宽度、通道数），黑白图片通道数为1。假设原图有100个像素点，我们通过特征值比较提取出前30个像素点，那么图片就被压缩到30%。

深入学习

 

 

特征值的性质

特征向量的性质

1.每个特征值,都至少能提供一个特征向量
2.不同特征值的特征向量一定线性无关

如果n阶矩阵具有n个不同的特征值,则矩阵一定可以相似对角化

3.属于同一特征值的特征向量的线性组合,仍是该特征值的特征向量
4.属于不同特征值的特征向量的线性组合,不是特征向量

相似对角化

对角矩阵的高次幂

那么非对角矩阵怎么求高次幂呢？

相似的

tr（A）：A的迹，阵的迹是指矩阵主对角线上元素的和。

相似对角化

如果一个n阶方阵A相似于对角矩阵，也就是，如果存在一个可逆矩阵P使得P^-1AP是对角矩阵，则称矩阵A为可对角化矩阵。

并且最终对角矩阵的特征值就是矩阵A的特征值。

矩阵对角化在PCA、白化等机器学习领域应用的比较多。

可相似对角化的条件

1.由 |A-λE|求出所有的特征值 λ_i。

2.如果所有的特征值都是单根（所有λ均不相等）,则A一定能对角化。

3.如果A的特征值有重根（λ存在重复值）, 则对每个λ ,求齐次方程组(A-λ_iE)X=0的基础解系, 如果基础解系所含特征向量的个数等于λ_i的重根数或等于n-R(A-λ_iE),则A可以对角化且这些础解系排成的矩阵为相似变换矩阵。

总结：

上面的P和Λ都是已知的，那么在不知道P和Λ的情况下，应该如何求出P和Λ呢？

根据特征值和特征向量求P和Λ：

先记结论：

 

即矩阵的列向量和对角矩阵中特征值的位置要相互对应．

系数矩阵

 

对称矩阵

• 元素以对角线为对称轴对应相等的矩阵就叫做对称矩阵。即A=A^T（也就是）A和它的转置矩阵一样。
• 对称矩阵具有的特性：
  • 对称矩阵中a_ij等于a_ji
  • 对称矩阵一定是方阵；
  • 任何的方阵A，A+A^T是对称矩阵（根据‘矩阵和的转置=转置的和’：(A+A^T)^T=A^T+(A^T)^T=A+A^T；所以A+A^T是对称矩阵）
  • 除对角线外的其它元素均为0的矩阵叫做对角矩阵
  • 矩阵中的每个元素都是实数的对称矩阵叫做实对称矩阵

 

规范正交基

正交矩阵

• 若n阶方阵A满足A^TA=E，则称A为正交矩阵，简称正交阵。
  • A是正交阵的充要条件：A的列(行)向量都是单位向量，且两两正交。
• 若A为正交矩阵，X为向量，则AX称为正交变换。
  • 正交变换不改变向量的长度。
• 正交矩阵的性质：
  • 若A为正交矩阵，则逆矩阵A^-1也为正交矩阵
  • 若P、Q为正交矩阵，那么P*Q也为正交矩阵

正定矩阵

• 对于n阶方阵A，若任意n阶向量x，都有x^TAx>0，则称矩阵A为正定矩阵。
• 若x^TAx>=0，则矩阵A为半正定矩阵

奇异矩阵

• 若方阵A的行列式的值等于0，那么方阵A叫做奇异矩阵，否则叫做非奇异矩阵。
  可逆矩阵就是非奇异矩阵，非奇异矩阵也是可逆矩阵。
• 若A为奇异矩阵，则Ax=0有无穷解，Ax=b有无穷解或者无解。
• 若A为非奇异矩阵，则Ax=0有且只有唯一零解，Ax=b有唯一解。

QR分解

SVD矩阵分解

场景分析：

假设，有1000万个用户，有10万个商品，那么每个用户购买过哪个商品就可以构成一个1000万X10万的矩阵，但是这个矩阵有两个特点：1.非常的大；2.非常的稀疏。

解决思路：

1.将1000万个用户的id列单独抽出来，然后复制十份，组成一个1000万*10的新矩阵M_(1000万,10)，同理，把商品行，单独抽出来，复制十份，组成一个10*10万的新矩阵,M_(10,10万)。

那么M_(1000万,10)*M_(10,10万)=M_{(1000万,10万)，}还是原来的矩阵。

 定义

奇异值分解(Singular Value Decomposition)是一种重要的矩阵分解方法，可以看做是对称方阵在任意矩阵上的推广。

假设A为一个m*n阶实矩阵，则存在一个分解使得：

通常将奇异值由大到小排列，这样Σ便能由A唯一确定了。

与特征值、特征向量的概念相对应，则：

• Σ对角线上的元素称为矩阵A的奇异值
• U和V称为A的左/右奇异向量矩阵

 

 

向量的导数

 

 

标量对向量的导数

 

 

标量对方阵的导数

二次型及其标准型

未看...

正交变换及配方法化标准型

未看...

正定二次型

未看...