梯度下降法，牛顿法，拟牛顿法区别

梯度下降法是沿着梯度下降的算法，该算法的收敛速度受梯度大小影响非常大，当梯度小时算法收敛速度非常慢。

牛顿法是通过把目标函数做二阶泰勒展开，通过求解这个近似方程来得到迭代公式，牛顿法的迭代公式中用到了二阶导数来做指导，所以牛顿法的收敛速度很快，但是由于要求二阶导，所以牛顿法的时间复杂度非常高。

拟牛顿法通过用正定矩阵来近似海赛矩阵来减少时间复杂度同时又保存了很高的收敛速度