[最优化理论与技术]一维搜索

一维搜索

一维搜索

一维最优化

一般迭代算法

初始点 $x^0$
按照某种规则 $A$ 产生下一个迭代点 $x^{k+1}=A(x^k)$
点列 ${x^k}$ 收敛于最优解 $x^*$

下降迭代算法

初始点 $x^0$
按照某种规则 $A$ 产生下一个迭代点 $x^{k+1}=A(x^k)$
$f(x^0)>f(x^1)>...>f(x^k)>...$

下降迭代算法步骤：

给出初始点 $x^0$，令 $k=0$
按照某种规则确定下降搜索方向 $d^k$
按照某种规则确定搜索步长 $\lambda_k$，使得

\[f\left(x^{k}+\lambda_{k} d^{k}\right)<f\left(x^{k}\right) \]
令 $x^{k+1}=x^{k}+\lambda_{k} d^{k}$
判断 $x^k$ 是否满足停止条件

搜索步长确定方法

\[f\left(x^{k}+\lambda_{k} d^{k}\right)=\min _{\lambda} f\left(x^{k}+\lambda d^{k}\right) \]

称 $\lambda_k$ 为最优步长，且有

\[\nabla f\left(x^{k}+\lambda_{k} d^{k}\right)^{T} d^{k}=0 \]

收敛速度

设算法 $A$ 所得的点列为 $\{x^k\}$，如果

\[\left\|x^{k+1}-x^{*}\right\|<\lambda\left\|x^{k}-x^{*}\right\|^{\alpha}, \quad \lambda, \alpha>0 \]

则称 $\{x^k\}$ 的收敛阶为 $\alpha$

黄金分割法

思想：不断试探缩短包含极小点的区间，求得逼近的极小值。

定理：设 $f(x)$ 是区间 $[a,b]$ 上的一元函数，$x'$ 是 $f(x)$ 是区间 $[a,b]$ 上的极小点。任取点 $c<d\in [a,b]$，则有

若 $f(c)>f(d)，x'\in[c,b]$
若 $f(c)<f(d)，x'\in[a,d]$

黄金分割法：设 $f(x)$ 在 $[a_1,b_1]$ 上单峰，极小点 $x'\in [a_1,b_1]$，假设进行第 $k$ 次迭代前 $x'\in [a_k,b_k]$，取 $\lambda_k,\mu_k \in [a_k,b_k]$，且 $\lambda_k<\mu_k$，则有

若 $f(\lambda_k)>f(\mu_k) $，令 $a_{k+1}=\lambda_k,b_{k+1}=b_k$
若 $f(\lambda_k)\le f(\mu_k) $，令 $a_{k+1}=a_k,b_{k+1}=\mu_k$

$\lambda_k$ 与 $\mu_k$ 需满足：

满足 $b_k-\lambda_k=\mu_k-a_k$
每次迭代区间长度缩短比率相同

\[b_{k+1}-a_{k+1}=\alpha(b_k-a_k)\quad \alpha>0 \]
则

\[\begin{cases}\lambda_k &=& a_k+(1-\alpha)(b_k-a_k)\\\mu_k &=& a_k+\alpha(b_k-a_k)\end{cases} \]
第 $k$ 次迭代时，假设 $f(\lambda_k)\le f(\mu_k) $，则区间更新为 $[a_{k+1},b_{k+1}]=[a_k,\mu_k]$，在第 $k+1$ 次迭代时选取 $\lambda_{k+1},\mu_{k+1}$，有

\[\begin{aligned} \mu_{k+1}&=a_{k+1}+\alpha(b_{k+1}-a_{k+1})\\&= a_k+\alpha^2(b_k-a_k)\end{aligned} \]
令 $\alpha^2=1-\alpha\Rightarrow \alpha=\frac{\sqrt{5}-1}{2}\approx 0.618$

同理可得，若 $f(\lambda_k)> f(\mu_k) $，区间更新为 $ [a_{k+1},b_{k+1}]=[\lambda_k,b_k] $，有

\[\begin{aligned} \lambda_{k+1}&=a_{k+1}+(1-\alpha)(b_{k+1}-a_{k+1})\\&=a_{k+1}+0.382(b_{k+1}-a_{k+1})\end{aligned} \]

算法步骤：

给定初始区间 $[a_1,b_1]$，精读要求 $\varepsilon>0$。

令 $\lambda_1=a_1+0.382(b_1-a_1)$，$\mu_1=a_1+0.618(b_1-a_1)$，并计算 $f(\lambda_1)$ 与 $f(\mu_1)$
若 $b_k-a_k < \varepsilon$，算法结束。结果 $x'=\frac{b_k-a_k}{2}$。

否则，若 $f(\lambda_k)> f(\mu_k) $，转(3)。若 $f(\lambda_k)\le f(\mu_k) $，转(4)
区间更新为 $ [a_{k+1},b_{k+1}]=[\lambda_k,b_k] $，且 $\lambda_{k+1}=\mu_k$ (减少计算，直接赋值)，$\mu_{k+1}=a_{k+1}+0.618(b_{k+1}-a_{k+1})$，计算 $f(\mu_{k+1})$ ，$f(\lambda_{k+1})$ 直接由 $f(\mu_k)$ 得来，转(2)。
区间更新为 $[a_{k+1},b_{k+1}]=[a_k,\mu_k]$，且 $\mu_{k+1}=\lambda_k$ ，$\lambda_{k+1}=a_{k+1}+0.382(b_{k+1}-a_{k+1})$，计算 $f( \lambda_{k+1})$ ，$f( \mu_{k+1})$ 直接由 $f(\lambda_k)$ 得来，转(2)。

进退法 ( 二次插值法 )

算法思路：利用目标函数在不同 3 点的函数值构成一个与原函数 $f(x)$ 近似的二次多项式 $p(x)$，以函数 $p(x)$ 的极值点作为原函数 $f(x)$ 的近似极值点。

计算步骤：

给定初始点 $x_0$，初始步长 $h_0$，计算 $f(x_0)$，令 $k=0 $。
令 $x_{k+1}=x_{k}+h_k$，计算 $f(x_{k+1})$，若 $f(x_{k+1})\le f(x_{k})$，转(3)。否则转(4)。
加大步长。令 $h_{k+1}=2h_k$，$x=x_k$，$x_k=x_{k+1}$，令 $k:=k+1$。转(2)
反向搜索或输出。若 $k=0$，令 $h_1=h_0$，$x=x_1$，$x_1=x_0$，$k=1$，转(2)，否则停止迭代，令

\[a=min\{x,x_{k+1}\},\quad b=max\{x,x_{k+1}\} \]
输出 $[a,b]$。

抛物线插值法

思想：在极小点附近，用二次三项式 $\phi(x)$ 逼近目标函数 $f(x)$，令 $\phi(x)$ 与 $f(x)$ 在三点 $x_1<x_2<x_3$ 处有相同的函数值，并假设 $f(x_1)>f(x_2)>f(x_3)$。

设 $\phi(x)=a+bx+cx^2$，代入 $f(x_1)$ ，$f(x_2)$， $f(x_3)$ 三点值求解 $\phi(x)$ 的系数，再求 $\phi(x)$ 的极小值点 $x'$ 作为 $f(x)$ 极小点的估计值。