2022年1月4日
统计学习方法学习笔记附录B(牛顿法和拟牛顿法）
摘要： 梯度下降法是通过计算某一点的梯度，然后向梯度的反方向进行迭代。 牛顿法考虑某一点的二阶泰勒展开，用黑塞矩阵的逆矩阵求解。 牛顿法相比梯度下降法收敛速度更快，但是每轮迭代的时间更长。牛顿法要求Hk的逆矩阵，过程比较复杂，而且Hk不一定正定(甚至可能不可逆)所以采用拟牛顿法来改进。 拟牛顿法是思路有两种 阅读全文
posted @ 2022-01-04 22:57 维和战艇机 阅读(139) 评论(0) 推荐(0) 编辑