牛顿法和拟牛顿法

泰勒展开2介，求f'(x)=0的值

牛顿法，是已经知道f(x),f’(x),f”(x)三个值，就可以用二次抛物线去拟合，取得下次的最小值，就是二次抛物线的最小值

改进的牛顿法：如果搜索方向和负梯度方向的夹角岛屿90，就用梯度公式代替牛顿

 BFGS是对Hessen矩阵逆的一个近似

 

B0=I，sk是两个x相减去，yk是两个x对应的一阶导相减