让我们尝试确定几个简单函数的梯度和黑塞矩阵。(A考虑为对称矩阵)
针对上图中的max:
对称矩阵的不同特征值对应的特征向量是正交的。
当A有n个线性无关的特征向量的时候,存在相似矩阵P,使得A对角化。
因为x是归一化的向量,所以针对max的时候,x应为最大特征值对应的特征向量,该值就是对应的最大特征值。
具体证明可用拉格朗日:
参考:吴恩达机器学习,同济版线性代数