最小二乘法

基础知识

  让我们尝试确定几个简单函数的梯度和黑塞矩阵。(A考虑为对称矩阵)

 

 

 

 最小二乘法

行列式的梯度

 针对上图中的max:

 对称矩阵的不同特征值对应的特征向量是正交的。

 当A有n个线性无关的特征向量的时候,存在相似矩阵P,使得A对角化。

 因为x是归一化的向量,所以针对max的时候,x应为最大特征值对应的特征向量,该值就是对应的最大特征值。

具体证明可用拉格朗日:

 

 参考:吴恩达机器学习,同济版线性代数

posted @ 2021-01-25 21:45  为红颜  阅读(235)  评论(0编辑  收藏  举报