2023-07-07 《数值优化方法》-庞丽萍，肖现涛-无约束最优化（三）.md

2023-07-07 《数值优化方法》-庞丽萍，肖现涛-无约束最优化（三）

数值优化方法Matlab一维线搜索牛顿法抛物线法非精确线搜索

1. 牛顿法

书接上回，对于一维最优化问题, 牛顿法是在迭代点处进行二次泰勒展开来近似原函数，然后求泰勒展开式的极小点，具体如下

设为当前迭代点，在处的二阶泰勒展开式为

为了求近似函数

的最小值，考虑最优性条件

, 得到

令

, 整理可得

牛顿法要求目标函数二阶可导，且根据上述推导可知牛顿法收敛到

的点，即可能是极小点也可能是极大点, 只有当初始点和极小点比较接近（至少比到极大点更接近），才能收敛到极小点.

% 一维最优化问题的牛顿法 
% fun 目标函数, 可以是符号函数或函数句柄 
% epsil 指定终止条件（精度） 
% maxIt 最大迭代次数 
function [xk xlog] = OneNewton(f, x0, epsil, maxIt) 
    k = 0; 
    if isa(f,'function_handle') 
        syms x; 
        fun(x) = f(x); 
    else 
        fun = f; 
    end 
    diff_fun1 = diff(fun); 
    diff_fun2 = diff(diff_fun1); 
    diff_fun1_h = matlabFunction(diff_fun1); 
    diff_fun2_h = matlabFunction(diff_fun2); 
    while k <= maxIt 
        xk = x0 - diff_fun1_h(x0) / diff_fun2_h(x0); 
        if abs(xk- x0) <= epsil 
            break; 
        end 
        k = k + 1; 
        x0 = xk; 
        xlog(k) = xk; 
    end 
end 

测试代码

f = @(x) sin(x); 
epsil = 1e-6; 
maxIt = 1e3; 
 
plot((-10):0.01:10, f((-10):0.01:10)) 
x0 = 1; 
[xk xlog] = OneNewton(f, x0, epsil, maxIt) 
x0 = 0.5; 
[xk xlog] = OneNewton(f, x0, epsil, maxIt) 
x0 = -0.5; 
[xk xlog] = OneNewton(f, x0, epsil, maxIt) 