优化问题 optimization problems -

优化问题 optimization problems

Standard Form of General Optimization Problem

标准形式:

\[\begin{aligned}\mathrm{min.}&f_0(\mathbf{x})\\\mathrm{s.t.}&f_k(\mathbf{x})\leq0,k=1,\cdots,m.\\&h_k(\mathbf{x})=0,k=1,\cdots,p.\end{aligned} \]

min. f0(x)为目标函数 (Objective Function) 意思:“最小化”f0(x)。要找到一组变量 x,使得f0(x) 的值越小越好。

subject to fk(x) <= 0 ;不等式约束 (Inequality Constraint functions),fk(x)≤0 表示你的解 x 必须满足这些条件。

hk(x) = 0—— 等式约束 (Equality Constraints);等式约束(equality constraint functions),代表解x还必须满足这里的等式条件。

X是一个n维向量的优化变量,f0是一个输入n维向量后输出一个实数的目标函数, 定义域D代表f0,fk,hk的交集,下面的fk定义域K=0代表着f0目标函数的定义域(直接与fk写在了一起,简洁)。

\[\mathbf{x}\in\mathbb{R}^n\text{ is the optimization variable},f_0:\mathbb{R}^n\to\mathbb{R}\text{ is the objective or cost function} \]

\[\mathcal{D}=\bigcap_{k=0}^m\mathrm{dom(f_k)\cap\bigcap_{k=1}^mdom(h_k)} \]

优化值:

\[p^*=\inf\left\{f_0(\mathbf{x}):\mathbf{x}\in\mathcal{D}\right\} \]

在所有合法(满足约束)的生产方案 D 中,挑出那个能让成本 f0(x)达到最小的成本值,这个值就是 p∗。

inf 是“下确界”(Infimum)的缩写。在优化问题里,可以简单把它理解为“最小值”。

\[\begin{aligned}&p^*=\infty\text{ if the problem is infeasible (meaning no x satisfies the constrain)}\\&p^*=-\infty\text{ if the problem is unbounded below.}\end{aligned} \]


全局最优解和局部最优解 Global and Local Optimality

\[\textbf{Feasibility: A point x is said to be feasible if }\mathbf{x}\in\mathcal{D} \]

全局最优解 ** Global Optimal Points :A point x is said to be (globally) optimal if f0 (x* * ) = p *

优化集合 Optimal Set** contains all optimal x: Xo = {x : x ∈ D, f0(x) = p *}

若 Xo 解集非空,则可取得最优值,且该问题可解。


ϵ-suboptimal(次优解),refers a feasible point x with f0(x) ≤ p+ ϵ (ϵ* ≥ 0);ϵ代表一个非常低的容忍度,在现实中可能计算出P*需要大量的时间,次优解在可接受范围内就能选择其作为我们求的解。

局部最优解 (Locally Optimal Points)

如果存在一个半径 R>0,使得 xlo是这个新问题的最优解,这个可行点 xlo 就被称为局部最优。

\[\begin{aligned}\min.&\quad&f_{0}(\mathbf{z})\\\mathrm{s.t.}&\quad&f_{k}(\mathbf{z})\leq0,k=1,\cdots,m,h_{k}(\mathbf{z})=0,k=1,\cdots,p.\\&\quad&||\mathbf{z}-\mathbf{x}_{lo}||_{2}\leq R\end{aligned} \]

例如f0(x)=x^3-3x, fx为实数,此时p*最小为负无穷,没有全局最优解,但是在-1到正无穷上,有x为1是局部最优解。


可行性问题

可行性问题是指判定可行集是否为空的问题。其数学表达式为:

\[\begin{aligned}\mathrm{find}&\quad\mathbf{x}\\\mathrm{s.t.}&\quad f_{k}(\mathbf{x})\leq0,k=1,\cdots,m,\\&\quad h_{k}(\mathbf{x})=0,k=1,\cdots,p.\end{aligned} \]

该可行性问题亦可表述如下(其实第一种找到x,使其满足约束条件更便于理解):

\[\begin{aligned}\min&&0\\\mathrm{s.t.}&&f_{k}(\mathbf{x})\leq0,k=1,\cdots,m,\\&&h_{k}(\mathbf{x})=0,k=1,\cdots,p.\end{aligned} \]

若约束条件可行,有 p∗ = 0,此时任何可行解 x 均为最优解。若约束条件不可行,则 p∗ = ∞。


上境图问题形式 Epigraph Problem Form

这里使用一个例子来进行理解,原来的标准问题是minf0(x) (找曲线的最低点),现在变成(x是n维向量,t为实数):

\[\begin{aligned}\min.&\quad t\\\mathrm{s.t.}&\quad f_{0}(\mathbf{x})\leq t\\&\quad f_{k}(\mathbf{x})\leq0,1\leq k\leq m,h_{k}(\mathbf{x})=0,1\leq k\leq p.\end{aligned} \]

当我们把 t 压到最低时,这个最低的 t 恰好就等于曲线的最小值 f0(x)。

\[(x,t)\text{ 是上镜图问题的最优解,当且仅当 }x\text{ 是原问题的最优解,并且 }t=f_0(x)\mathrm{。} \]


Applications of Epigraph Problem Form:

\[\begin{aligned}&\mathrm{min.}\quad f_0(\mathbf{x})\\&\mathrm{s.t.}\quad f_k(\mathbf{x})\leq0,1\leq k\leq m,h_k(\mathbf{x})=0,1\leq k\leq p,\\&\mathrm{where~}f_0(\mathbf{x})\triangleq\max\{g_1(\mathbf{x}),g_2(\mathbf{x})\}\end{aligned} \]

由于其目标函数不可微,因此该问题难以求解。借助上界法,我们可以将其重新表述如下:

\[\begin{aligned}\mathrm{s.t.}\quad g_1(\mathbf{x})&\leq t\\g_2(\mathbf{x})&\leq t\\f_{k}(\mathbf{x})&\leq0,1\leq k\leq m,1\leq k\leq m,h_k(\mathbf{x})=0,1\leq k\leq p.\end{aligned} \]

原来的“尖角”问题,现在变成了多条平滑的约束条件。这个新形式不仅逻辑上完全等价,而且由于去掉了那个不可导的⁡max 符号,它变成了可导的,甚至如果g1, g2 是线性的,这就直接变成了一个线性规划问题(Linear Programming)。


凸优化问题的标准形式(Standard Forms of Convex Optimization Problem)

标准形式如下:

\[\begin{aligned}&\mathrm{min.}&&f_0(\mathbf{x})\\&\mathrm{s.t.}&&f_k(\mathbf{x})\leq0,k=1,\cdots,m\\&&&\mathbf{a}_k^T\mathbf{x}=b_k,k=1,\cdots,p\end{aligned}/\begin{aligned}&\mathrm{min.}&&f_0(\mathbf{x})\\&\mathrm{s.t.}&&f_k(\mathbf{x})\leq0,k=1,\cdots,m\\&&&\mathbf{A}\mathbf{x}=\mathbf{b}\end{aligned} \]

\[\text{左边是逐个写的:}\mathbf{a}_k^T\mathbf{x}=b_k,\quad k=1,\cdots,p\text{(K表示有 }p\text{ 个具体的线性等式)。} \]

\[\text{右边是矩阵写法:}\mathbf{Ax}=\mathbf{b}\quad\text{(把所有线性等式打包成矩阵,这是工程中编程时最喜欢的格式)。} \]

\[a_{1k}x_1+a_{2k}x_2+\cdots+a_{nk}x_n=bk,\begin{cases}a_{11}x_1+a_{12}x_2+\cdots+a_{1n}x_n=b_1\\a_{21}x_1+a_{22}x_2+\cdots+a_{2n}x_n=b_2\\\vdots\\a_{m1}x_1+a_{m2}x_2+\cdots+a_{mn}x_n=b_m&&\end{cases} \]

  • 条件一(目标函数和不等式约束必须是凸的):
    f0​ 和f1​⋯fm​ 必须是凸函数(Convex)。这意味着它们的图像是“碗状”的,开口向上。只要你顺着坡度往下走,就一定能到达唯一的最低点。
  • 条件二(等式约束必须是仿射的):
    hk(x)=0形式的等式约束必须是仿射函数(Affine),也就是线性的(例如 2x+3y−5=0)。不能出现 x2=0或者 log⁡(x)=0这样的非线性等式。
  • 条件三(符号定义):
    解释了矩阵 A 和向量 b 的维度(A 是 p×n 的矩阵,b 是 p 维向量)。
  • 条件四(最终结论):
    只要满足了前两个条件,那么这个问题所有满足约束条件的解组成的集合(可行集 Feasible Set),必定是一个凸集。

只要把现实问题建成了这个标准形式(凸目标、凸不等式、线性等式),那么就能在极短时间内找到全局最优解。

  • 凸函数中:有一个极其美丽的数学定理:凸函数的局部梯度,永远指向全局最优解的方向(或者至少是一个不会让你远离全局最优解的方向)。
    • 这意味着,只要计算机发现梯度为零(也就是导数为0),它就可以立刻停下并宣布:“找到了!这绝对是全世界最低点!”因为凸函数的导数为零的点,有且只有一个,那就是全局最低点。

判断以下优化问题是否可表示为标准凸优化形式

\[\begin{aligned}\mathrm{min.}&\quad&\log(1+x)\\\mathrm{s.t.}&\quad&x\leq100\\&\quad&-x\leq1\end{aligned} \]

例子1 中由于二阶导数小于0,所以是非凸函数,所以不能表示为标准凸优化形式:

\[f^{\prime}(x)=\frac{1}{1+x},f^{\prime\prime}(x)=-\frac{1}{(1+x)^2}。 \]


\[\begin{aligned}\mathrm{max.}\quad&&x^{\frac{1}{2}}\\\mathrm{s.t.}\quad&&x^{2}+3x+1=0\\&&&-x\leq0\end{aligned} \]

例子2中由于标准凸优化要求等式约束必须是仿射函数(Affine,即线性的),所以不能表示为标准凸优化形式:


\[\begin{aligned}\mathrm{min.}&\quad&\mathrm{e}^{2x}\\\mathrm{s.t.}&\quad&\log(1+10x)\leq1\\&\quad&-x\leq0\end{aligned} \]

例子3中由于log(1+10x)≤1,log(1+10x)为凹函数,标准凸优化要求不等式约束 g(x)≤0 中的 g(x) 必须是凸函数,所以也不能进行转换。


可微化目标函数的最优化准则:凸优化问题中的任一局部最优点,同时也是(全局)最优点(因为凸函数没有任何坑坑洼洼,任意方向都是向着全局最优解,这也意味着,你但凡找到了局部最优,肯定也是全局最优解了)

一个可行点 x 是最优解,当且仅当:对于可行域里的任何其他点 y,目标函数在 x 点的梯度 ∇f0(x) 与向量 (y−x) 的内积都大于等于0。:

\[\left(\bigtriangledown f_{0}(\mathbf{x})\right)^{T}\left(\mathbf{y-x}\right)\geq0 \]

\[\text{向量 A: }\nabla f_0(\mathbf{x})\text{,这是梯度,指向函数值上升最快的方向。} \]

\[\text{向量 B: }(\mathbf{y}-\mathbf{x})\text{,这是从当前点 }\mathbf{x}\text{ 指向可行域内其他任何点 }\mathbf{y}\text{ 的移动方向。} \]

\[\text{意味着梯度方向 }\nabla f_0(\mathbf{x})\text{ 和你的移动方向 }(\mathbf{y}-\mathbf{x})\text{ 的夹角是锐角(或直角)} \]

  • 如果你沿着移动方向走,因为夹角是锐角,你在“梯度方向”上是有正投影的,也就是说函数值倾向于上升。
  • 反过来想,如果我们想找最小值,我们得往“负梯度方向”(−∇f0(x))走,也就是下降最快的方向。
  • 但公式告诉我们,在最优解 x 处,任何可行的移动方向 (y−x) 和梯度方向的夹角都是锐角。这就等于说:任何可行的移动方向,和“下降方向(负梯度)”的夹角都是钝角。在最优解那个点,想往可行域里的任何地方走,都是在往“上坡”走(或者平路)。你找不到任何一个方向可以让你继续“下坡”(降低目标函数值)了。所以,当前点就是最低点。
  • 如果非零,负梯度−∇f0(x) 定义了可行域D 在点 x 处的一个支撑超平面。

沿着−∇f0(x) 走就能得到凸函数的最小值,此时垂直于这个梯度方向的平面就是支撑超平面(supporting hyperplane)


等价凸优化问题 Equivalent Convex Problems

消除等式约束 Eliminating equality constraints:

\[\begin{aligned}\mathrm{min.}&\quad&f_{0}(\mathbf{x})\\\mathrm{s.t.}&\quad&f_{k}(\mathbf{x})\leq0,k=1,\cdots,m,\\&\quad&\mathbf{Ax}=\mathbf{b}.\end{aligned} \]

等价于:

\[\begin{aligned}\min.&\quad&f_{0}(\mathbf{Fz}+\mathbf{x}_{0})\\\mathrm{s.t.}&\quad&f_{k}(\mathbf{Fz}+\mathbf{x}_{0})\leq0,k=1,\cdots,m,\end{aligned} \]

where F and x0 are such that:

\[\mathbf{Ax}=\mathbf{b}\Longleftrightarrow\mathbf{x}=\mathbf{Fz}+\mathbf{x}_{0} \]

矩阵 F 必须满足一个核心条件:AF=0,x0就是满足等式约束 Ax=b 的“任意一个已知点”。Ax0必须满足等于b的条件。


引入等式约束 Introducing equality constraints:

\[\begin{aligned}\min.&\quad&f_{0}(\mathbf{A}_{0}\mathbf{x}+\mathbf{b}_{0})\\\mathrm{s.t.}&\quad&f_{k}(\mathbf{A}_{k}\mathbf{x}+\mathbf{b}_{k})\leq0,k=1,\cdots,m.\end{aligned} \]

等价于:

\[\begin{aligned}\min.&\quad&f_{0}(\mathbf{y}_{0})\\\mathrm{s.t.}&\quad&f_{k}(\mathbf{y}_{k})\leq0,k=1,\cdots,m,\\&\quad&\mathbf{y}_{k}=\mathbf{A}_{k}\mathbf{x}+\mathbf{b}_{k},k=0,\cdots,m\end{aligned} \]

Epigraph form:

\[\begin{aligned}&\mathrm{min.}&&t\\&\mathrm{s.t.}&&f_0(\mathbf{x}_0)-t\leq0,\\&&&f_k(\mathbf{x}_k)\leq0,k=1,\cdots,m,\mathbf{A}\mathbf{x}=\mathbf{b}\end{aligned} \]


线性不等式中的松弛变量介绍:

\[\begin{aligned}\mathrm{min.}\quad&\quad f_{0}(\mathbf{x})\\\mathrm{s.t.}\quad&\quad\mathbf{a}_{k}^{T}\mathbf{x}\leq b_{k},k=1,\cdots,m.\end{aligned} \]

等价于:

\[\begin{aligned}\min_{\mathbf{x},s_{k}}.&&f_{0}(\mathbf{x})\\\mathrm{s.t.}&&\mathbf{a}_{k}^{T}\mathbf{x}+s_{k}=b_{k},s_{k}\geq0,k=1,\cdots,m.\end{aligned} \]

对某些变量进行最小化:

\[\begin{aligned}\min.\quad&\quad f_0(\mathbf{x}_1,\mathbf{x}_2)\\\mathrm{s.t.}\quad&\quad f_k(\mathbf{x}_1)\leq0,k=1,\cdots,m.\end{aligned} \]

等价于:

\[\begin{aligned}\min.&\tilde{f}_0(\mathbf{x}_1)\\\mathrm{s.t.}&f_k(\mathbf{x}_1)\leq0,k=1,\cdots,m.\\\mathrm{where~}\tilde{f}_0(\mathbf{x}_1)=\inf_{\mathbf{x}_2}\{f_0(\mathbf{x}_1,\mathbf{x}_2)\}.\end{aligned} \]

这里的简单理解就是我每固定一个x1找到当前最优解下的x2,一直重复到x1的所有取值取完,然后就得到了一个新的集合,新集合包含了所有 x1应的“最好结果”,那么全局的最优解一定藏在这个集合里。


\[\begin{aligned}\mathrm{min.}&f_0(\mathbf{x})\\\mathrm{s.t.}&f_k(\mathbf{x})\leq0,k=1,\cdots,m\\&\mathbf{A}\mathbf{x}=\mathbf{b}\end{aligned} \]

目标函数 f0 : Rⁿ → R 是拟凸的。

不等式约束函数 f₁,...,fₘ 均为凸函数。

等式约束均为仿射约束。

f0x,目标函数定义和凸函数不一样:

\[f(\theta x+(1-\theta)y)\leq\max\{f(x),f(y)\},S_\alpha=\{x\in\mathrm{dom~}f\mid f(x)\leq\alpha\} \]

在函数图像上任取两点,这两点之间的函数值,永远不会超过这两点中较高的那个函数值。


例子,证明下面函数是拟凸Show the following problem quasiconvex:

\[\begin{aligned}\mathrm{min.}&\quad&f_{0}(\mathbf{x})/(\mathbf{c}^{T}\mathbf{x}+d)\\\mathrm{s.t.}&\quad&f_{k}(\mathbf{x})\leq0,k=1,\cdots,m\\&\quad&\mathbf{A}\mathbf{x}=\mathbf{b}\end{aligned} \]

\[\text{where all }f_k\mathrm{~and~}f_0\text{ are convex, domf}_0=\{\mathbf{x}\in\mathbb{R}^\mathrm{n}:\mathbf{c}^\mathrm{T}\mathbf{x}+\mathrm{d}>0\} \]

\[\text{Define a sublevel set }C=\{\mathbf{x}\in\mathbb{R}^n:f_0(\mathbf{x})/(\mathbf{c}^T\mathbf{x}+d)\leq\alpha\} \]

\[\text{Rewrite the set as }C=\{\mathbf{x}\in\mathbb{R}^n:f_0(\mathbf{x})-\alpha\mathbf{c}^T\mathbf{x}-\alpha d\leq0\} \]

\[f0是convex,-\alpha\mathbf{c}^T\mathbf{x}-\alpha d\text{ 是关于 }\mathbf{x}\text{ 的仿射函数(affine function),仿射函数既是凸函数也是凹函数。} \]

\[仿射函数(affine function)f(\mathbf{x})=\mathbf{A}\mathbf{x}+\mathbf{b} \]

-a,C的转置,-ad常数,均是对于x做仿射变化,所以上述C集合肯定是一个凸集,满足了拟凸函数的定义。


Convex Representation of Objective Sublevel Sets 目标次水平集的凸表示

若 f0 是拟凸函数,则存在一个函数族 ϕt,使得:

对于固定的 t,ϕt(x) 关于 x 是凸函数。

f0 的 t-下水平集,等价于 φt 的 0-下水平集。用公式表示就是:

\[f_0(\mathbf{x})\leq t\Longleftrightarrow\phi_t(\mathbf{x})\leq0 \]

例如,假设f0(x) = p(x) / q(x),其中P(x)是凸函数,q(x)是凹函数,分子分母同时大于0。

构造一个ϕ(x) = p(x) − tq(x),其中t大于0,因为q(x)是凹函数,减去一个凹函数,相当于加上一个凸函数,所以ϕ(x)一定是一个凸函数。

\[\frac{p(\mathbf{x})}{q(\mathbf{x})}\leq t\text{ if and only if }\phi_t(\mathbf{x})\leq0 \]

通过这个例子告诉我们,遇到这种凸除以凹的分式问题,只要按照 p(x) - tq(x) 的方式构造一个新函数,就能把分式不等式完美转化为一个标准凸函数的不等式。就可以直接扔给电脑用现成的凸优化算法快速求解。


Bisection Method for Quasiconvex Problems 拟凸问题的二分法

其实就是靠猜数字

我们不用直接去硬算那个复杂的最小值(p∗)。我们可以反过来想:“假设目标函数的值要小于等于某一个数 t,到底存不存在这样的 x呢?”

find x (寻找一个满足条件的 x)

满足以下约束条件:

  • ϕt(x)≤0(上一节构造的凸函数小于等于0)
  • fk(x)≤0,Ax=b(原问题自带的凸约束)

只要 t固定,这就是一个纯粹的凸优化问题。 因为 ϕt是凸函数,fk 也是凸函数

如果这个凸问题“可行(feasible)”(即能找到满足条件的 x),说明我们假设的 t 太大了(或者刚刚好),真正的目标函数最优值p肯定小于等于 t(即 t≥p)。
如果“不可行(infeasible)”(找不到这样的 x),说明我们假设的 t 太小了,真正的 p∗ 肯定大于 t
t*(即 t<p∗)。

  • l≤p∗ (找一个下界 l*,保证真正答案比它大)

  • u≥p∗(找一个上界 u,保证真正答案比它小)

  • 容忍度 ϵ>0 (允许的误差范围,比如 0.0001)

  • t=(l+u)/2:取上界和下界的中点,作为当前测试的 t。

  • 一直重复上述步骤,直到区间长度 u−l≤ϵ 时停止。


线性规划

当目标函数与约束函数均为仿射函数时,该问题被称为线性规划(LP)。一般线性规划问题的标准形式如下:

\[\begin{aligned}\mathrm{min.}\quad&&\mathbf{c}^T\mathbf{x}+d\\\mathrm{s.t.}\quad&&\mathbf{Gx}\preceq\mathbf{h}\\&&&\mathbf{Ax}=\mathbf{b}\end{aligned} \]

\[\mathrm{where~}\mathbf{c}\in\mathbb{R}^n,d\in\mathbb{R},\mathbf{G}\in\mathbb{R}^{m\times n},\mathbf{h}\in\mathbb{R}^m,\mathbf{A}\in\mathbb{R}^{p\times n}\mathrm{~and~}\mathbf{b}\in\mathbb{R}^p. \]

当目标函数和约束函数都是仿射函数(affine)时,这个问题就叫线性规划。所有的约束条件都是直线或平面。用直线或平面去切割空间,切出来的形状一定是一个多面体(polyhedron)。多面体的某一个顶点,一定是最优解


例子:求最大值

\[\begin{aligned}\max.&&z=2x_{1}+x_{2}\\\mathrm{s.t.}&&x_{1}+1.9x_{2}\geq3.8\\&&&x_{1}-1.9x_{2}\leq3.8\\&&&x_{1}+1.9x_{2}\leq11.4\\&&&x_{1}-1.9x_{2}\geq-3.8\\&&&x_{1}\geq0,x_{2}\geq0\end{aligned} \]


线性分式规划问题 Linear-Fractional Programs

在多面体上最小化一个仿射函数比的问题被称为线性分式规划问题,其数学表达式为

\[\begin{aligned}\mathrm{max.}\quad&f_{0}(\mathbf{x})\\\mathrm{s.t.(多面体表达式)}\quad&\mathbf{Gx}\preceq\mathbf{h},\mathbf{Ax}=\mathbf{b}\end{aligned} \]

目标函数是一个分式(分子分母都是仿射函数),约束条件是多面体。此时最大公式:

\[f_0(x)=\frac{c^Tx+d}{e^Tx+f} \]

\[\mathrm{dom(f_0)=\{x:e^Tx+f>0\}.} \]

目标函数呈拟线性,因此该问题是一个拟凸优化问题,可通过二分法求解;使用代数转换,能完美地变成一个标准的线性规划LP:

\[\begin{aligned}\max.\quad&\quad\mathbf{c}^{T}\mathbf{y}+dz\\\mathrm{s.t.}\quad&\quad\mathbf{Gy}\preceq z\mathbf{h},\mathbf{Ay}=z\mathbf{b},\mathbf{e}^{T}\mathbf{y}+fz=1,z\geq0\end{aligned} \]

\[其中y=\frac{x}{e^Tx+f},z=\frac{1}{e^Tx+f} \]


examples 1

\[\begin{aligned}\mathrm{Minimize~}&||\mathbf{Ax}-\mathbf{b}||_\infty\\&\bullet||\mathbf{Ax}-\mathbf{b}||_\infty=\max\{|\mathbf{a}_k\mathbf{x}-b_k|,k=1,\cdots,m\}\end{aligned} \]

\[\min_{\mathbf{x}}\left(\max_{1\leq k\leq m}|\mathbf{a}_k\mathbf{x}-b_k|\right) \]

无穷范数不是叫你开无穷次方,这里代表的是其中范数最大值。

引入辅助变量 t ,让这个t成为无穷范数的最大值,成为所有 ∣akx−bk∣的一个上界:

\[t\geq|\mathbf{a}_k\mathbf{x}-b_k|,\quad\text{对于所有 }k=1,\ldots,m \]

写为两个不等式:

\[\begin{array}{c}\mathbf{a}_k\mathbf{x}-b_k\leq t\\\\\mathbf{a}_k\mathbf{x}-b_k\geq-t\end{array} \]

这样就转换为了求min(t)

example2

\[\begin{aligned}\mathrm{Minimize~}&||\mathbf{Ax-b}||_{1}\\\bullet&||\mathbf{Ax-b}||_{1}=\sum_{k}|\mathbf{a}_{k}\mathbf{x-b}_{k}|\end{aligned} \]

同理,对于每一个k,均存在akx-bk的绝对值小于等于t

\[\mathrm{min.}\quad\sum_kt_k \]

\[t\geq|\mathbf{a}_k\mathbf{x}-b_k|,\quad\text{对于所有 }k=1,\ldots,m \]


Quadratic Programs

若目标函数为凸二次函数,且所有约束函数均为仿射函数,则该问题即为二次规划(QP)。二次规划的标准形式如下:

\[\begin{aligned}&\mathrm{min.}&&\frac{1}{2}\mathbf{x}^T\mathbf{P}\mathbf{x}+\mathbf{q}^T\mathbf{x}+r\\&\mathrm{s.t.}&&\mathbf{G}\mathbf{x}\preceq\mathbf{h},\\&&&\mathbf{A}\mathbf{x}=\mathbf{b}\end{aligned} \]

\[\mathrm{where~}\mathbf{P}\in\mathbb{S}_+^n,\mathbf{q}\in\mathbb{R}^n,\mathbf{G}\in\mathbb{R}^{m\times n},\mathbf{h}\in\mathbb{R}^m,\mathbf{A}\in\mathbb{R}^{p\times n},\mathbf{b}\in\mathbb{R}^p.(矩阵 P 必须是半正定矩阵 ) \]

这很类似在一个多面体上去最小化一个凸二次函数:(所以约束条件均为仿射函数就能找到对应的多面体)

例子1:找到下面式子的最小值:

\[\text{Least squares: min. }||\mathbf{Ax}-\mathbf{b}||_2^2(2-范数的平方) \]

\[\|\mathbf{A}\mathbf{x}-\mathbf{b}\|_2\text{ 2-范数本身 }\sqrt{\sum_k(\mathbf{a}_k\mathbf{x}-b_k)^2} \]

\[\text{This has an analytic solution given by }\mathbf{x}^*=(\mathbf{A}^T\mathbf{A})^{-1}\mathbf{A}^T\mathbf{b} \]

这个是正规方程,通过这个式子可以直接求出x的最优解


例子2:多面体之间的距离:

\[\begin{aligned}\mathrm{min.}&\quad&||\mathbf{x}_{1}-\mathbf{x}_{2}||_{2}^{2}\\\mathrm{s.t.}&\quad&\mathbf{A}_{1}\mathbf{x}_{1}\preceq\mathbf{b}_{1},\mathbf{A}_{2}\mathbf{x}_{2}\preceq\mathbf{b}_{2}\end{aligned} \]

\[\mathbf{P}_1=\{\mathbf{x}:\mathbf{A}_1\mathbf{x}\preceq\mathbf{b}_1\}\mathrm{~and~}\mathbf{P}_2=\{\mathbf{x}:\mathbf{A}_2\mathbf{x}\preceq\mathbf{b}_2\} \]

意思是你选的第一个点 x1必须在这个多面体 P1 里面(满足这组不等式),P2同理

有两个由线性不等式定义的多面体区域 P1 和 P2,请找出 P1 中的某一个点 x1 和 P2 中的某一个点 x2,使得这两个点之间的距离最短


二次约束二次规划(Quadratically Constrained Quadratic Program,简称 QCQP)

当需要最小化一个二次函数,且约束条件是多个二次不等式。

x 是我们要寻找的变量向量,P属于半定矩阵,每一个二次不等式约束在几何上代表一个椭球体(Ellipsoid)的内部或表面。

\[ \frac{1}{2}\mathbf{x}^{T}\mathbf{P}_{k}\mathbf{x}+\mathbf{q}_{k}^{T}\mathbf{x}+r_{k}\leq0,k=1,\cdots,m \]

\[\mathbf{Ax}=\mathbf{b}\text{ 代表一个仿射集(Affine set,比如直线、平面或超平面)} \]

可行域(Feasible Region)就是这 m 个椭球体的交集,并且还要落在这个仿射集上。


4-范数,这里就是将Zk代表范数的平方,式子能就变得简洁,此外范数的根号不会影响最优解的结果,所以这里省去了开根号的步骤。

\[\mathbf{Ax}-\mathbf{b}=\begin{bmatrix}v_1\\v_2\\\vdots\\v_n\end{bmatrix} \]

\[\sum z_{k}^{2}=\sum([\mathbf{Ax}-\mathbf{b}]_{k}^{2})^{2}=\sum[\mathbf{Ax}-\mathbf{b}]_{k}^{4} \]

\[因为z_k=([\mathbf{Ax}-\mathbf{b}]_k)^2不在计算机中QCQP求解器格式中,所以引入了变量y \]

引入y后,y是x的线性方程,z其实是y的平方,但是为什么写为小于等于zi呢,QCQP 要求所有的约束都必须是凸的(Convex),所以写成这种形式就是为了满足标准QCQP的形式,哪怕已经知道zi一定就是yi的平方(yi^2=zi 是非凸约束,为了模型能够运行将等号改写)。

松弛技巧,我们最小化的目标是Z的平方,为了达到这个目的,zi也一定会尽可能的小。


题外:许多通信问题都可以转化为 QCQP 形式。以鲁棒波束成形设计问题为例,关键步骤是找到最坏信道估计误差,即以下优化问题:

\[\min_{\mathbf{e}^{T}\mathbf{e}\leq\sigma^{2}}\mathbf{w}^{T}(\hat{\mathbf{g}}+\mathbf{e})(\hat{\mathbf{g}}+\mathbf{e})^{T}\mathbf{w} \]

where gˆ denotes a channel estimate, e denotes the channel estimation error, and w is a bemforming vector.

其中 gˆ 表示信道估计值,e 表示信道估计误差,w 为波束成形向量。

QCQP形式如下:(其实就是把转置计算出来)

\[\begin{aligned}\mathrm{min.}&\quad\mathbf{e}^{T}\mathbf{w}\mathbf{w}^{T}\mathbf{e}+2\hat{\mathbf{g}}^{T}\mathbf{w}\mathbf{w}^{T}\mathbf{e}+\hat{\mathbf{g}}^{T}\mathbf{w}\mathbf{w}^{T}\hat{\mathbf{g}}\\\mathrm{s.t.}&\quad\mathbf{e}^{T}\mathbf{e}\leq\sigma^{2}\end{aligned} \]


单项式、Posynomial 与几何规划

注意,这里的单项式和代数的定义不相同!

单项式函数:

\[\begin{array}{c}\text{A function }f:\mathbb{R}^n\to\mathbb{R}\mathrm{~given~by}\\\\f(\mathbf{x})=cx_1^{a_1}\cdots x_n^{a_n},\mathrm{dom(f)}=\mathbb{R}_{++}^\mathrm{n},\end{array},其中c必须大于0,ai为实数,x必须大于0(定义域) \]

下面的例子就是含两个变量的单项式函数:

\[f(x_1,x_2)=1.7x_1^{-0.3}x_2^{\sqrt{pi}} \]


几何规划(GP):一种具有以下形式的优化问题

\[\begin{aligned}\mathrm{min.}&&f_{0}(\mathbf{x})\\\mathrm{s.t.}&&f_{i}(\mathbf{x})\leq1,i=1,\cdots,m\\&&h_{i}(\mathbf{x})=1,i=1,\cdots,p\end{aligned} \]

其中f0(x)必须是正项式,f(i)也必须是正多项式,h(i)必须是单项式;注意右边必须是常数 1,如果不是 1,可以通过代数变形移过去(比如 g(x)≤5变成 g(x)/5≤1,因为系数 c>0,除法不改变正项式的性质。这里的xi定义域也是大于0,这个条件在 GP 中是隐含的(implicit),不需要你写在约束里,求解器默认就会在这个范围内寻找解。

几何规划并非凸优化问题,但是对数变换(Log Transformation)可以转换为一个完美的凸优化问题。

\[\text{令 }y_i=\ln x_i\text{(也就是 }x_i=e^{y_i}) \]

\[cx_1^{a_1}\cdots x_n^{a_n}\text{ 会变成 }e^{a^Ty+b}\text{。这是一个凸函数。} \]

\[\text{正项式(求和)变成了 Log-Sum-Exp 函数:}\sum e^{a_k^Ty+b_k}\text{。这也是一个凸函数。} \]

\[\text{约束 }f_i(x)\leq1\text{ 经过变换后,变成了}\ln(\sum e^{\cdots})\leq0\text{,就是凸约束} \]

详细的h(i)约束过程:

\[\ln(cx_1^{a_1}x_2^{a_2}\cdots x_n^{a_n})=\ln(1) \]

\[\ln(c)+a_1\ln(x_1)+a_2\ln(x_2)+\cdots+a_n\ln(x_n)=\ln(1)=0 \]

\[y_i=\ln(x_i),\ln(c)+a_1y_1+a_2y_2+\cdots+a_ny_n=0 \]

\[\text{令}d_i=\ln(c)(这是一个常数),\mathbf{g}_i=[a_1,a_2,\ldots,a_n]^T,\mathbf{y}=[y_1,y_2,\ldots,y_n]^T \]

\[\mathbf{g}_i^T\mathbf{y}+d_i=0,证毕,此外你可以发现这是一个仿射等式,一条平滑的直线或者平面,求解非常简单 \]

我们将此称为凸形式几何规划问题,以区别于原始 GP 表述形式——后者称为正多项式形式几何规划问题。


例子1:Use GP to convert the following problem to a convex form,使用 GP 将以下问题转化为凸优化形式。

\[\begin{aligned}\mathrm{max.}&\quad a_{0}xy^{2}\\\mathrm{s.t.}&\quad b_{0}x/z+b_{1}y+b_{2}yz\leq d_{1}\\&\quad x_{\min}\leq x\leq x_{\max},z\leq y\text{ (all coefficients are positive)}\end{aligned} \]

第一步,将其转换为GP的标准形式,所以同除等式右边的数,使得等式右边为1:

\[\begin{aligned}\max.&\quad a_{0}xy^{2}\\\mathrm{s.t.}&\quad(b_{0}/d_{1})xz^{-1}+(b_{1}/d_{1})y+(b_{2}/d_{1})yz\leq1\\&\quad x_{\min}x^{-1}\leq1,(1/x_{\max})x\leq1,zy^{-1}\leq1\end{aligned} \]

第二步就是将其改写为凸形式:

\[因为\log(A\cdot B)=\log(A)+\log(B)\text{,且}\log(A^a)=a\log(A),所以将t1作为logx,t2作为logy,t3作为logz \]

\[a_0(e^{t_1})(e^{t_2})^2=a_0e^{t_1}e^{2t_2}=a_0e^{t_1+2t_2},\log(a_0e^{t_1+2t_2})=\log(a_0)+\log(e^{t_1+2t_2})=\log(a_0)(为0)+t_1+2t_2 \]

\[限制条件:\log((b_{0}/d_{1})e^{t_{1}-t_{3}}+(b_{1}/d_{1})e^{t_{2}}+(b_{2}/d_{1})e^{t_{2}+t3})\leq0 \]

\[\log x_{\min}-t_{1}\leq0,\log(1/x_{\max})+t_{1}\leq0,t_{3}-t_{2}\leq0 \]

完毕,其实还是比较简单的。


例子2:将下列式子改写为GP convex形式

\[\min.\max\{x_1^2x_2^6,x_1^4x_2)\}\text{ to convex forms via GP} \]

好了,我又忘了min.max了

min max 的策略就是:找到一组参数,使得两个指标中较大的那个,被压到最低。

引入松弛变量(slacking parameter)t,为什么?因为max的函数无法去求导,带有分段的性质,必须改写成其他式子。

我们令max{}小于t,此时第一个函数和第二个函数肯定也是小于t。

\[\begin{aligned}&\bullet f_1\leq t\\&\bullet f_2\leq t\end{aligned} \]

\[这就是第一步了,\begin{array}{ccc}\mathrm{min.}&&t\\\mathrm{s.t.}&&x_{1}^{2}x_{2}^{6}\leq t,&x_{1}^{4}x_{2}\leq t\end{array} \]

然后你就肯定知道了,x1,x2命名为一个新的变量后,将式子右边变为系数1,代入原式子中取对数。

\[\begin{array}{cc}\mathrm{min.}&t\\\mathrm{s.t.}&x_{1}^{2}x_{2}^{6}t^{-1}\leq1,\quad x_{1}^{4}x_{2}t^{-1}\leq1\end{array} \]

结果如下

\[\begin{aligned}\min.&\quad z\\\mathrm{s.t.}&\quad2y_{1}+6y_{2}-z\leq0,\quad4y_{1}+y_{2}-t\leq0\\\mathrm{where~}z=\log t\mathrm{~and~}y_{i}=\log x_{i}\end{aligned} \]

统一的代换规则:所有原始变量,统统取对数,换成新变量。所以这里1/t也取了对数。


例子3:

这里错误是发生在step2,还记得GP的定义么,限制条件必须为全部正项式,中间项-x1^0.2 x2^2.5一定是负的(GP默认定义域大于0),如果遇到这类问题,通常需要引入更多的辅助变量(比如令分母为 u,令 u 为新的变量),或者如果该问题不是真正的 GP,就不能用这种方法。警示学生:在 Step 2 一旦出现了负系数,就不要再往下做 Step 3 了,因为那已经不是一个合法的 GP 问题了。

posted @ 2026-10-14 05:05  narilove  阅读(36)  评论(0)    收藏  举报