摘要：BFGS算法中需要一个N*N的矩阵，当N很大时存储这个矩阵变得很耗费计算机资源，L-BFGS算法是对BFGS算法的改造，减少期迭代过程中产生的内存开销 总结：牛顿法不仅使用了梯度还使用了梯度下降的趋势，所以能加速下降；DFP和BFGS为了弥补牛顿法的不足（海森矩阵必须可逆），它们使用迭代法分别近似海 阅读全文

摘要：与DFP算法相比，BFGS算法性能更完善，是求解无约束非线性规划问题最常用的方法之一。 BFGS的核心公式和推导过程与DFP类似，只是互换了S(k)和Y(k)的位置 主要算法实现如下： 目标函数： 目标函数的梯度： 阅读全文

摘要：DFP算法的核心是：通过迭代的方法，对海森矩阵的变形做近似 阅读全文

摘要：牛顿法需要计算目标函数的二阶偏导数，计算复杂，而且有时目标函数的海森矩阵无法保持正定，因此有人提出了拟牛顿法：一种类似牛顿法的方法。思路是不用二阶偏导数就构造出可以近似海森矩阵的正定对称阵。拟牛顿条件是指出了用来近似的矩阵应该满足的条件。 阅读全文

摘要：求解非线性优化问题的有效手段 牛顿法：优点：收敛速度快 缺点：定步长迭代，有时会使函数值上升。计算量大，要求函数必须有连续的一、二阶偏导数，海森矩阵必须正定 拟牛顿法：在牛顿法的基础上加入了寻求最优步长因子 示例代码：求解目标函数的局部最小值 主函数： 目标函数： 运行结果： 阅读全文