线搜索技术-进退法

进退法 ^[1]

进退法是一种确定搜索区间并保证具有近似单峰性质的数值算法, 其基本思想是从一点出发, 按一定步长, 试图确定函数值呈现“高-低-高”的三点, 从而得到一个近似的单峰区间.

算法1 (进退法)

步1 选取\(\alpha _0 \geq 0\), \(h_0 > 0\). 计算\(\phi _0 := \phi (\alpha _0)\). 置\(k := 0\).
步2 令\(\alpha_{k+1}=\alpha_k+h_k\), 计算\(\phi_{k+1}=\phi(\alpha_{k+1})\). 若\(\phi_{k+1} \leq \phi_k\), 转步3, 否则转步4.
步3 加大步长. 令\(h_{k+1}=2h_k\), \(\alpha=\alpha_k\), \(\alpha_k=\alpha_{k+1}\), \(\phi_k=\phi_{k+1}\), \(k=k+1\), 转步2.
步4 反向搜索或输出. 若\(k=0\), 令\(h_1=h_0\), \(\alpha=\alpha_1\), \(\alpha_1 = \alpha_0\), \(\phi_1=\phi_0\), \(k=1\), 转步2; 否则停止迭代, 令

\[a=\min\{\alpha,\alpha_{k+1}\},\ b=\max\{\alpha,\alpha_{k+1}\} \]

输出\([a,b]\).

MATLAB实现

function [a,b,k]=bfm(phi,alpha0,h0)
%功能: 确定搜索区间-进退法
%输入: phi 是目标函数, alpha0初始点和h0是初始步长
%输出: [a,b]是搜索区间
% 一种确定搜索区间并保证具有近似单峰性质的数值算法—进退法, 其基本思想是从一点出发, 
% 按一定步长, 试图确定函数值呈现“高-低-高”的三点, 从而得到一个近似的单峰区间

%step1
f0=feval(phi,alpha0);
k=0;

while(1)
    %step2
    alpha1 = alpha0+h0;
    f1=feval(phi,alpha1);
    
    if f1<f0
        %step3
        h1=2*h0;
        Alpha=alpha0;
        alpha0=alpha1;
        f0=f1;
        k=k+1;
        %k+1后变量变化，注意
        alpha0=alpha1;
        h0=h1;
    else
        %step4
        if k==0
            h1=-1*h0;
            Alpha=alpha1;
            alpha1=alpha0;
            f1=f0;
            k=1;
            %k+1后变量变化注意
            alpha0=alpha1;
            h0=h1;
        else
            a=min(Alpha,alpha1);
            b=max(Alpha,alpha1);
            break;
        end
    end
end

测试

>> clear
>> phi=@(x)((x-1)^2);
>> [a,b,k]=bfm(phi,0,0.1)
a =
                       0.3
b =
                       1.5
k =
     3

---

1. 马昌凤. 最优化方法及其Matlab程序设计[M]. 科学出版社, 2010. ↩︎