优化问题 optimization problems
标准形式:
\[\begin{aligned}\mathrm{min.}&f_0(\mathbf{x})\\\mathrm{s.t.}&f_k(\mathbf{x})\leq0,k=1,\cdots,m.\\&h_k(\mathbf{x})=0,k=1,\cdots,p.\end{aligned}
\]
min. f0(x)为目标函数 (Objective Function) 意思:“最小化”f0(x)。要找到一组变量 x,使得f0(x) 的值越小越好。
subject to fk(x) <= 0 ;不等式约束 (Inequality Constraint functions),fk(x)≤0 表示你的解 x 必须满足这些条件。
hk(x) = 0—— 等式约束 (Equality Constraints);等式约束(equality constraint functions),代表解x还必须满足这里的等式条件。
X是一个n维向量的优化变量,f0是一个输入n维向量后输出一个实数的目标函数, 定义域D代表f0,fk,hk的交集,下面的fk定义域K=0代表着f0目标函数的定义域(直接与fk写在了一起,简洁)。
\[\mathbf{x}\in\mathbb{R}^n\text{ is the optimization variable},f_0:\mathbb{R}^n\to\mathbb{R}\text{ is the objective or cost function}
\]
\[\mathcal{D}=\bigcap_{k=0}^m\mathrm{dom(f_k)\cap\bigcap_{k=1}^mdom(h_k)}
\]
优化值:
\[p^*=\inf\left\{f_0(\mathbf{x}):\mathbf{x}\in\mathcal{D}\right\}
\]
在所有合法(满足约束)的生产方案 D 中,挑出那个能让成本 f0(x)达到最小的成本值,这个值就是 p∗。
inf 是“下确界”(Infimum)的缩写。在优化问题里,可以简单把它理解为“最小值”。
\[\begin{aligned}&p^*=\infty\text{ if the problem is infeasible (meaning no x satisfies the constrain)}\\&p^*=-\infty\text{ if the problem is unbounded below.}\end{aligned}
\]
全局最优解和局部最优解 Global and Local Optimality
\[\textbf{Feasibility: A point x is said to be feasible if }\mathbf{x}\in\mathcal{D}
\]
全局最优解 ** Global Optimal Points :A point x is said to be (globally) optimal if f0 (x* * ) = p *
优化集合 Optimal Set** contains all optimal x: Xo = {x : x ∈ D, f0(x) = p *}
若 Xo 解集非空,则可取得最优值,且该问题可解。
ϵ-suboptimal(次优解),refers a feasible point x with f0(x) ≤ p+ ϵ (ϵ* ≥ 0);ϵ代表一个非常低的容忍度,在现实中可能计算出P*需要大量的时间,次优解在可接受范围内就能选择其作为我们求的解。
局部最优解 (Locally Optimal Points)
如果存在一个半径 R>0,使得 xlo是这个新问题的最优解,这个可行点 xlo 就被称为局部最优。
\[\begin{aligned}\min.&\quad&f_{0}(\mathbf{z})\\\mathrm{s.t.}&\quad&f_{k}(\mathbf{z})\leq0,k=1,\cdots,m,h_{k}(\mathbf{z})=0,k=1,\cdots,p.\\&\quad&||\mathbf{z}-\mathbf{x}_{lo}||_{2}\leq R\end{aligned}
\]
例如f0(x)=x^3-3x, fx为实数,此时p*最小为负无穷,没有全局最优解,但是在-1到正无穷上,有x为1是局部最优解。
可行性问题
可行性问题是指判定可行集是否为空的问题。其数学表达式为:
\[\begin{aligned}\mathrm{find}&\quad\mathbf{x}\\\mathrm{s.t.}&\quad f_{k}(\mathbf{x})\leq0,k=1,\cdots,m,\\&\quad h_{k}(\mathbf{x})=0,k=1,\cdots,p.\end{aligned}
\]
该可行性问题亦可表述如下(其实第一种找到x,使其满足约束条件更便于理解):
\[\begin{aligned}\min&&0\\\mathrm{s.t.}&&f_{k}(\mathbf{x})\leq0,k=1,\cdots,m,\\&&h_{k}(\mathbf{x})=0,k=1,\cdots,p.\end{aligned}
\]
若约束条件可行,有 p∗ = 0,此时任何可行解 x 均为最优解。若约束条件不可行,则 p∗ = ∞。
这里使用一个例子来进行理解,原来的标准问题是minf0(x) (找曲线的最低点),现在变成(x是n维向量,t为实数):
\[\begin{aligned}\min.&\quad t\\\mathrm{s.t.}&\quad f_{0}(\mathbf{x})\leq t\\&\quad f_{k}(\mathbf{x})\leq0,1\leq k\leq m,h_{k}(\mathbf{x})=0,1\leq k\leq p.\end{aligned}
\]
当我们把 t 压到最低时,这个最低的 t 恰好就等于曲线的最小值 f0(x)。
\[(x,t)\text{ 是上镜图问题的最优解,当且仅当 }x\text{ 是原问题的最优解,并且 }t=f_0(x)\mathrm{。}
\]
Applications of Epigraph Problem Form:
\[\begin{aligned}&\mathrm{min.}\quad f_0(\mathbf{x})\\&\mathrm{s.t.}\quad f_k(\mathbf{x})\leq0,1\leq k\leq m,h_k(\mathbf{x})=0,1\leq k\leq p,\\&\mathrm{where~}f_0(\mathbf{x})\triangleq\max\{g_1(\mathbf{x}),g_2(\mathbf{x})\}\end{aligned}
\]
由于其目标函数不可微,因此该问题难以求解。借助上界法,我们可以将其重新表述如下:
\[\begin{aligned}\mathrm{s.t.}\quad g_1(\mathbf{x})&\leq t\\g_2(\mathbf{x})&\leq t\\f_{k}(\mathbf{x})&\leq0,1\leq k\leq m,1\leq k\leq m,h_k(\mathbf{x})=0,1\leq k\leq p.\end{aligned}
\]
原来的“尖角”问题,现在变成了多条平滑的约束条件。这个新形式不仅逻辑上完全等价,而且由于去掉了那个不可导的max 符号,它变成了可导的,甚至如果g1, g2 是线性的,这就直接变成了一个线性规划问题(Linear Programming)。
标准形式如下:
\[\begin{aligned}&\mathrm{min.}&&f_0(\mathbf{x})\\&\mathrm{s.t.}&&f_k(\mathbf{x})\leq0,k=1,\cdots,m\\&&&\mathbf{a}_k^T\mathbf{x}=b_k,k=1,\cdots,p\end{aligned}/\begin{aligned}&\mathrm{min.}&&f_0(\mathbf{x})\\&\mathrm{s.t.}&&f_k(\mathbf{x})\leq0,k=1,\cdots,m\\&&&\mathbf{A}\mathbf{x}=\mathbf{b}\end{aligned}
\]
\[\text{左边是逐个写的:}\mathbf{a}_k^T\mathbf{x}=b_k,\quad k=1,\cdots,p\text{(K表示有 }p\text{ 个具体的线性等式)。}
\]
\[\text{右边是矩阵写法:}\mathbf{Ax}=\mathbf{b}\quad\text{(把所有线性等式打包成矩阵,这是工程中编程时最喜欢的格式)。}
\]
\[a_{1k}x_1+a_{2k}x_2+\cdots+a_{nk}x_n=bk,\begin{cases}a_{11}x_1+a_{12}x_2+\cdots+a_{1n}x_n=b_1\\a_{21}x_1+a_{22}x_2+\cdots+a_{2n}x_n=b_2\\\vdots\\a_{m1}x_1+a_{m2}x_2+\cdots+a_{mn}x_n=b_m&&\end{cases}
\]
- 条件一(目标函数和不等式约束必须是凸的):
f0 和f1⋯fm 必须是凸函数(Convex)。这意味着它们的图像是“碗状”的,开口向上。只要你顺着坡度往下走,就一定能到达唯一的最低点。
- 条件二(等式约束必须是仿射的):
hk(x)=0形式的等式约束必须是仿射函数(Affine),也就是线性的(例如 2x+3y−5=0)。不能出现 x2=0或者 log(x)=0这样的非线性等式。
- 条件三(符号定义):
解释了矩阵 A 和向量 b 的维度(A 是 p×n 的矩阵,b 是 p 维向量)。
- 条件四(最终结论):
只要满足了前两个条件,那么这个问题所有满足约束条件的解组成的集合(可行集 Feasible Set),必定是一个凸集。
只要把现实问题建成了这个标准形式(凸目标、凸不等式、线性等式),那么就能在极短时间内找到全局最优解。
- 凸函数中:有一个极其美丽的数学定理:凸函数的局部梯度,永远指向全局最优解的方向(或者至少是一个不会让你远离全局最优解的方向)。
- 这意味着,只要计算机发现梯度为零(也就是导数为0),它就可以立刻停下并宣布:“找到了!这绝对是全世界最低点!”因为凸函数的导数为零的点,有且只有一个,那就是全局最低点。
判断以下优化问题是否可表示为标准凸优化形式
\[\begin{aligned}\mathrm{min.}&\quad&\log(1+x)\\\mathrm{s.t.}&\quad&x\leq100\\&\quad&-x\leq1\end{aligned}
\]
例子1 中由于二阶导数小于0,所以是非凸函数,所以不能表示为标准凸优化形式:
\[f^{\prime}(x)=\frac{1}{1+x},f^{\prime\prime}(x)=-\frac{1}{(1+x)^2}。
\]
\[\begin{aligned}\mathrm{max.}\quad&&x^{\frac{1}{2}}\\\mathrm{s.t.}\quad&&x^{2}+3x+1=0\\&&&-x\leq0\end{aligned}
\]
例子2中由于标准凸优化要求等式约束必须是仿射函数(Affine,即线性的),所以不能表示为标准凸优化形式:
\[\begin{aligned}\mathrm{min.}&\quad&\mathrm{e}^{2x}\\\mathrm{s.t.}&\quad&\log(1+10x)\leq1\\&\quad&-x\leq0\end{aligned}
\]
例子3中由于log(1+10x)≤1,log(1+10x)为凹函数,标准凸优化要求不等式约束 g(x)≤0 中的 g(x) 必须是凸函数,所以也不能进行转换。
可微化目标函数的最优化准则:凸优化问题中的任一局部最优点,同时也是(全局)最优点(因为凸函数没有任何坑坑洼洼,任意方向都是向着全局最优解,这也意味着,你但凡找到了局部最优,肯定也是全局最优解了)
一个可行点 x 是最优解,当且仅当:对于可行域里的任何其他点 y,目标函数在 x 点的梯度 ∇f0(x) 与向量 (y−x) 的内积都大于等于0。:
\[\left(\bigtriangledown f_{0}(\mathbf{x})\right)^{T}\left(\mathbf{y-x}\right)\geq0
\]
\[\text{向量 A: }\nabla f_0(\mathbf{x})\text{,这是梯度,指向函数值上升最快的方向。}
\]
\[\text{向量 B: }(\mathbf{y}-\mathbf{x})\text{,这是从当前点 }\mathbf{x}\text{ 指向可行域内其他任何点 }\mathbf{y}\text{ 的移动方向。}
\]
\[\text{意味着梯度方向 }\nabla f_0(\mathbf{x})\text{ 和你的移动方向 }(\mathbf{y}-\mathbf{x})\text{ 的夹角是锐角(或直角)}
\]
- 如果你沿着移动方向走,因为夹角是锐角,你在“梯度方向”上是有正投影的,也就是说函数值倾向于上升。
- 反过来想,如果我们想找最小值,我们得往“负梯度方向”(−∇f0(x))走,也就是下降最快的方向。
- 但公式告诉我们,在最优解 x 处,任何可行的移动方向 (y−x) 和梯度方向的夹角都是锐角。这就等于说:任何可行的移动方向,和“下降方向(负梯度)”的夹角都是钝角。在最优解那个点,想往可行域里的任何地方走,都是在往“上坡”走(或者平路)。你找不到任何一个方向可以让你继续“下坡”(降低目标函数值)了。所以,当前点就是最低点。
- 如果非零,负梯度−∇f0(x) 定义了可行域D 在点 x 处的一个支撑超平面。
沿着−∇f0(x) 走就能得到凸函数的最小值,此时垂直于这个梯度方向的平面就是支撑超平面(supporting hyperplane)
等价凸优化问题 Equivalent Convex Problems
消除等式约束 Eliminating equality constraints:
\[\begin{aligned}\mathrm{min.}&\quad&f_{0}(\mathbf{x})\\\mathrm{s.t.}&\quad&f_{k}(\mathbf{x})\leq0,k=1,\cdots,m,\\&\quad&\mathbf{Ax}=\mathbf{b}.\end{aligned}
\]
等价于:
\[\begin{aligned}\min.&\quad&f_{0}(\mathbf{Fz}+\mathbf{x}_{0})\\\mathrm{s.t.}&\quad&f_{k}(\mathbf{Fz}+\mathbf{x}_{0})\leq0,k=1,\cdots,m,\end{aligned}
\]
where F and x0 are such that:
\[\mathbf{Ax}=\mathbf{b}\Longleftrightarrow\mathbf{x}=\mathbf{Fz}+\mathbf{x}_{0}
\]
矩阵 F 必须满足一个核心条件:AF=0,x0就是满足等式约束 Ax=b 的“任意一个已知点”。Ax0必须满足等于b的条件。
引入等式约束 Introducing equality constraints:
\[\begin{aligned}\min.&\quad&f_{0}(\mathbf{A}_{0}\mathbf{x}+\mathbf{b}_{0})\\\mathrm{s.t.}&\quad&f_{k}(\mathbf{A}_{k}\mathbf{x}+\mathbf{b}_{k})\leq0,k=1,\cdots,m.\end{aligned}
\]
等价于:
\[\begin{aligned}\min.&\quad&f_{0}(\mathbf{y}_{0})\\\mathrm{s.t.}&\quad&f_{k}(\mathbf{y}_{k})\leq0,k=1,\cdots,m,\\&\quad&\mathbf{y}_{k}=\mathbf{A}_{k}\mathbf{x}+\mathbf{b}_{k},k=0,\cdots,m\end{aligned}
\]
Epigraph form:
\[\begin{aligned}&\mathrm{min.}&&t\\&\mathrm{s.t.}&&f_0(\mathbf{x}_0)-t\leq0,\\&&&f_k(\mathbf{x}_k)\leq0,k=1,\cdots,m,\mathbf{A}\mathbf{x}=\mathbf{b}\end{aligned}
\]
线性不等式中的松弛变量介绍:
\[\begin{aligned}\mathrm{min.}\quad&\quad f_{0}(\mathbf{x})\\\mathrm{s.t.}\quad&\quad\mathbf{a}_{k}^{T}\mathbf{x}\leq b_{k},k=1,\cdots,m.\end{aligned}
\]
等价于:
\[\begin{aligned}\min_{\mathbf{x},s_{k}}.&&f_{0}(\mathbf{x})\\\mathrm{s.t.}&&\mathbf{a}_{k}^{T}\mathbf{x}+s_{k}=b_{k},s_{k}\geq0,k=1,\cdots,m.\end{aligned}
\]
对某些变量进行最小化:
\[\begin{aligned}\min.\quad&\quad f_0(\mathbf{x}_1,\mathbf{x}_2)\\\mathrm{s.t.}\quad&\quad f_k(\mathbf{x}_1)\leq0,k=1,\cdots,m.\end{aligned}
\]
等价于:
\[\begin{aligned}\min.&\tilde{f}_0(\mathbf{x}_1)\\\mathrm{s.t.}&f_k(\mathbf{x}_1)\leq0,k=1,\cdots,m.\\\mathrm{where~}\tilde{f}_0(\mathbf{x}_1)=\inf_{\mathbf{x}_2}\{f_0(\mathbf{x}_1,\mathbf{x}_2)\}.\end{aligned}
\]
这里的简单理解就是我每固定一个x1找到当前最优解下的x2,一直重复到x1的所有取值取完,然后就得到了一个新的集合,新集合包含了所有 x1应的“最好结果”,那么全局的最优解一定藏在这个集合里。
\[\begin{aligned}\mathrm{min.}&f_0(\mathbf{x})\\\mathrm{s.t.}&f_k(\mathbf{x})\leq0,k=1,\cdots,m\\&\mathbf{A}\mathbf{x}=\mathbf{b}\end{aligned}
\]
目标函数 f0 : Rⁿ → R 是拟凸的。
不等式约束函数 f₁,...,fₘ 均为凸函数。
等式约束均为仿射约束。
f0x,目标函数定义和凸函数不一样:
\[f(\theta x+(1-\theta)y)\leq\max\{f(x),f(y)\},S_\alpha=\{x\in\mathrm{dom~}f\mid f(x)\leq\alpha\}
\]
在函数图像上任取两点,这两点之间的函数值,永远不会超过这两点中较高的那个函数值。
例子,证明下面函数是拟凸Show the following problem quasiconvex:
\[\begin{aligned}\mathrm{min.}&\quad&f_{0}(\mathbf{x})/(\mathbf{c}^{T}\mathbf{x}+d)\\\mathrm{s.t.}&\quad&f_{k}(\mathbf{x})\leq0,k=1,\cdots,m\\&\quad&\mathbf{A}\mathbf{x}=\mathbf{b}\end{aligned}
\]
\[\text{where all }f_k\mathrm{~and~}f_0\text{ are convex, domf}_0=\{\mathbf{x}\in\mathbb{R}^\mathrm{n}:\mathbf{c}^\mathrm{T}\mathbf{x}+\mathrm{d}>0\}
\]
\[\text{Define a sublevel set }C=\{\mathbf{x}\in\mathbb{R}^n:f_0(\mathbf{x})/(\mathbf{c}^T\mathbf{x}+d)\leq\alpha\}
\]
\[\text{Rewrite the set as }C=\{\mathbf{x}\in\mathbb{R}^n:f_0(\mathbf{x})-\alpha\mathbf{c}^T\mathbf{x}-\alpha d\leq0\}
\]
\[f0是convex,-\alpha\mathbf{c}^T\mathbf{x}-\alpha d\text{ 是关于 }\mathbf{x}\text{ 的仿射函数(affine function),仿射函数既是凸函数也是凹函数。}
\]
\[仿射函数(affine function)f(\mathbf{x})=\mathbf{A}\mathbf{x}+\mathbf{b}
\]
-a,C的转置,-ad常数,均是对于x做仿射变化,所以上述C集合肯定是一个凸集,满足了拟凸函数的定义。
Convex Representation of Objective Sublevel Sets 目标次水平集的凸表示
若 f0 是拟凸函数,则存在一个函数族 ϕt,使得:
对于固定的 t,ϕt(x) 关于 x 是凸函数。
f0 的 t-下水平集,等价于 φt 的 0-下水平集。用公式表示就是:
\[f_0(\mathbf{x})\leq t\Longleftrightarrow\phi_t(\mathbf{x})\leq0
\]
例如,假设f0(x) = p(x) / q(x),其中P(x)是凸函数,q(x)是凹函数,分子分母同时大于0。
构造一个ϕ(x) = p(x) − tq(x),其中t大于0,因为q(x)是凹函数,减去一个凹函数,相当于加上一个凸函数,所以ϕ(x)一定是一个凸函数。
\[\frac{p(\mathbf{x})}{q(\mathbf{x})}\leq t\text{ if and only if }\phi_t(\mathbf{x})\leq0
\]
通过这个例子告诉我们,遇到这种凸除以凹的分式问题,只要按照 p(x) - tq(x) 的方式构造一个新函数,就能把分式不等式完美转化为一个标准凸函数的不等式。就可以直接扔给电脑用现成的凸优化算法快速求解。
Bisection Method for Quasiconvex Problems 拟凸问题的二分法
其实就是靠猜数字
我们不用直接去硬算那个复杂的最小值(p∗)。我们可以反过来想:“假设目标函数的值要小于等于某一个数 t,到底存不存在这样的 x呢?”
find x (寻找一个满足条件的 x)
满足以下约束条件:
- ϕt(x)≤0(上一节构造的凸函数小于等于0)
- fk(x)≤0,Ax=b(原问题自带的凸约束)
只要 t固定,这就是一个纯粹的凸优化问题。 因为 ϕt是凸函数,fk 也是凸函数
如果这个凸问题“可行(feasible)”(即能找到满足条件的 x),说明我们假设的 t 太大了(或者刚刚好),真正的目标函数最优值p肯定小于等于 t(即 t≥p)。
如果“不可行(infeasible)”(找不到这样的 x),说明我们假设的 t 太小了,真正的 p∗ 肯定大于 tt*(即 t<p∗)。
-
l≤p∗ (找一个下界 l*,保证真正答案比它大)
-
u≥p∗(找一个上界 u,保证真正答案比它小)
-
容忍度 ϵ>0 (允许的误差范围,比如 0.0001)
-
t=(l+u)/2:取上界和下界的中点,作为当前测试的 t。
-
一直重复上述步骤,直到区间长度 u−l≤ϵ 时停止。
线性规划
当目标函数与约束函数均为仿射函数时,该问题被称为线性规划(LP)。一般线性规划问题的标准形式如下:
\[\begin{aligned}\mathrm{min.}\quad&&\mathbf{c}^T\mathbf{x}+d\\\mathrm{s.t.}\quad&&\mathbf{Gx}\preceq\mathbf{h}\\&&&\mathbf{Ax}=\mathbf{b}\end{aligned}
\]
\[\mathrm{where~}\mathbf{c}\in\mathbb{R}^n,d\in\mathbb{R},\mathbf{G}\in\mathbb{R}^{m\times n},\mathbf{h}\in\mathbb{R}^m,\mathbf{A}\in\mathbb{R}^{p\times n}\mathrm{~and~}\mathbf{b}\in\mathbb{R}^p.
\]
当目标函数和约束函数都是仿射函数(affine)时,这个问题就叫线性规划。所有的约束条件都是直线或平面。用直线或平面去切割空间,切出来的形状一定是一个多面体(polyhedron)。多面体的某一个顶点,一定是最优解
例子:求最大值
\[\begin{aligned}\max.&&z=2x_{1}+x_{2}\\\mathrm{s.t.}&&x_{1}+1.9x_{2}\geq3.8\\&&&x_{1}-1.9x_{2}\leq3.8\\&&&x_{1}+1.9x_{2}\leq11.4\\&&&x_{1}-1.9x_{2}\geq-3.8\\&&&x_{1}\geq0,x_{2}\geq0\end{aligned}
\]
线性分式规划问题 Linear-Fractional Programs
在多面体上最小化一个仿射函数比的问题被称为线性分式规划问题,其数学表达式为
\[\begin{aligned}\mathrm{max.}\quad&f_{0}(\mathbf{x})\\\mathrm{s.t.(多面体表达式)}\quad&\mathbf{Gx}\preceq\mathbf{h},\mathbf{Ax}=\mathbf{b}\end{aligned}
\]
目标函数是一个分式(分子分母都是仿射函数),约束条件是多面体。此时最大公式:
\[f_0(x)=\frac{c^Tx+d}{e^Tx+f}
\]
\[\mathrm{dom(f_0)=\{x:e^Tx+f>0\}.}
\]
目标函数呈拟线性,因此该问题是一个拟凸优化问题,可通过二分法求解;使用代数转换,能完美地变成一个标准的线性规划LP:
\[\begin{aligned}\max.\quad&\quad\mathbf{c}^{T}\mathbf{y}+dz\\\mathrm{s.t.}\quad&\quad\mathbf{Gy}\preceq z\mathbf{h},\mathbf{Ay}=z\mathbf{b},\mathbf{e}^{T}\mathbf{y}+fz=1,z\geq0\end{aligned}
\]
\[其中y=\frac{x}{e^Tx+f},z=\frac{1}{e^Tx+f}
\]
examples 1
\[\begin{aligned}\mathrm{Minimize~}&||\mathbf{Ax}-\mathbf{b}||_\infty\\&\bullet||\mathbf{Ax}-\mathbf{b}||_\infty=\max\{|\mathbf{a}_k\mathbf{x}-b_k|,k=1,\cdots,m\}\end{aligned}
\]
\[\min_{\mathbf{x}}\left(\max_{1\leq k\leq m}|\mathbf{a}_k\mathbf{x}-b_k|\right)
\]
无穷范数不是叫你开无穷次方,这里代表的是其中范数最大值。
引入辅助变量 t ,让这个t成为无穷范数的最大值,成为所有 ∣akx−bk∣的一个上界:
\[t\geq|\mathbf{a}_k\mathbf{x}-b_k|,\quad\text{对于所有 }k=1,\ldots,m
\]
写为两个不等式:
\[\begin{array}{c}\mathbf{a}_k\mathbf{x}-b_k\leq t\\\\\mathbf{a}_k\mathbf{x}-b_k\geq-t\end{array}
\]
这样就转换为了求min(t)
example2
\[\begin{aligned}\mathrm{Minimize~}&||\mathbf{Ax-b}||_{1}\\\bullet&||\mathbf{Ax-b}||_{1}=\sum_{k}|\mathbf{a}_{k}\mathbf{x-b}_{k}|\end{aligned}
\]
同理,对于每一个k,均存在akx-bk的绝对值小于等于t
\[\mathrm{min.}\quad\sum_kt_k
\]
\[t\geq|\mathbf{a}_k\mathbf{x}-b_k|,\quad\text{对于所有 }k=1,\ldots,m
\]
Quadratic Programs
若目标函数为凸二次函数,且所有约束函数均为仿射函数,则该问题即为二次规划(QP)。二次规划的标准形式如下:
\[\begin{aligned}&\mathrm{min.}&&\frac{1}{2}\mathbf{x}^T\mathbf{P}\mathbf{x}+\mathbf{q}^T\mathbf{x}+r\\&\mathrm{s.t.}&&\mathbf{G}\mathbf{x}\preceq\mathbf{h},\\&&&\mathbf{A}\mathbf{x}=\mathbf{b}\end{aligned}
\]
\[\mathrm{where~}\mathbf{P}\in\mathbb{S}_+^n,\mathbf{q}\in\mathbb{R}^n,\mathbf{G}\in\mathbb{R}^{m\times n},\mathbf{h}\in\mathbb{R}^m,\mathbf{A}\in\mathbb{R}^{p\times n},\mathbf{b}\in\mathbb{R}^p.(矩阵 P 必须是半正定矩阵 )
\]
这很类似在一个多面体上去最小化一个凸二次函数:(所以约束条件均为仿射函数就能找到对应的多面体)
例子1:找到下面式子的最小值:
\[\text{Least squares: min. }||\mathbf{Ax}-\mathbf{b}||_2^2(2-范数的平方)
\]
\[\|\mathbf{A}\mathbf{x}-\mathbf{b}\|_2\text{ 2-范数本身 }\sqrt{\sum_k(\mathbf{a}_k\mathbf{x}-b_k)^2}
\]
\[\text{This has an analytic solution given by }\mathbf{x}^*=(\mathbf{A}^T\mathbf{A})^{-1}\mathbf{A}^T\mathbf{b}
\]
这个是正规方程,通过这个式子可以直接求出x的最优解
例子2:多面体之间的距离:
\[\begin{aligned}\mathrm{min.}&\quad&||\mathbf{x}_{1}-\mathbf{x}_{2}||_{2}^{2}\\\mathrm{s.t.}&\quad&\mathbf{A}_{1}\mathbf{x}_{1}\preceq\mathbf{b}_{1},\mathbf{A}_{2}\mathbf{x}_{2}\preceq\mathbf{b}_{2}\end{aligned}
\]
\[\mathbf{P}_1=\{\mathbf{x}:\mathbf{A}_1\mathbf{x}\preceq\mathbf{b}_1\}\mathrm{~and~}\mathbf{P}_2=\{\mathbf{x}:\mathbf{A}_2\mathbf{x}\preceq\mathbf{b}_2\}
\]
意思是你选的第一个点 x1必须在这个多面体 P1 里面(满足这组不等式),P2同理
有两个由线性不等式定义的多面体区域 P1 和 P2,请找出 P1 中的某一个点 x1 和 P2 中的某一个点 x2,使得这两个点之间的距离最短
二次约束二次规划(Quadratically Constrained Quadratic Program,简称 QCQP)
当需要最小化一个二次函数,且约束条件是多个二次不等式。
x 是我们要寻找的变量向量,P属于半定矩阵,每一个二次不等式约束在几何上代表一个椭球体(Ellipsoid)的内部或表面。
\[ \frac{1}{2}\mathbf{x}^{T}\mathbf{P}_{k}\mathbf{x}+\mathbf{q}_{k}^{T}\mathbf{x}+r_{k}\leq0,k=1,\cdots,m
\]
\[\mathbf{Ax}=\mathbf{b}\text{ 代表一个仿射集(Affine set,比如直线、平面或超平面)}
\]
可行域(Feasible Region)就是这 m 个椭球体的交集,并且还要落在这个仿射集上。
4-范数,这里就是将Zk代表范数的平方,式子能就变得简洁,此外范数的根号不会影响最优解的结果,所以这里省去了开根号的步骤。
\[\mathbf{Ax}-\mathbf{b}=\begin{bmatrix}v_1\\v_2\\\vdots\\v_n\end{bmatrix}
\]
\[\sum z_{k}^{2}=\sum([\mathbf{Ax}-\mathbf{b}]_{k}^{2})^{2}=\sum[\mathbf{Ax}-\mathbf{b}]_{k}^{4}
\]
\[因为z_k=([\mathbf{Ax}-\mathbf{b}]_k)^2不在计算机中QCQP求解器格式中,所以引入了变量y
\]
引入y后,y是x的线性方程,z其实是y的平方,但是为什么写为小于等于zi呢,QCQP 要求所有的约束都必须是凸的(Convex),所以写成这种形式就是为了满足标准QCQP的形式,哪怕已经知道zi一定就是yi的平方(yi^2=zi 是非凸约束,为了模型能够运行将等号改写)。
松弛技巧,我们最小化的目标是Z的平方,为了达到这个目的,zi也一定会尽可能的小。
题外:许多通信问题都可以转化为 QCQP 形式。以鲁棒波束成形设计问题为例,关键步骤是找到最坏信道估计误差,即以下优化问题:
\[\min_{\mathbf{e}^{T}\mathbf{e}\leq\sigma^{2}}\mathbf{w}^{T}(\hat{\mathbf{g}}+\mathbf{e})(\hat{\mathbf{g}}+\mathbf{e})^{T}\mathbf{w}
\]
where gˆ denotes a channel estimate, e denotes the channel estimation error, and w is a bemforming vector.
其中 gˆ 表示信道估计值,e 表示信道估计误差,w 为波束成形向量。
QCQP形式如下:(其实就是把转置计算出来)
\[\begin{aligned}\mathrm{min.}&\quad\mathbf{e}^{T}\mathbf{w}\mathbf{w}^{T}\mathbf{e}+2\hat{\mathbf{g}}^{T}\mathbf{w}\mathbf{w}^{T}\mathbf{e}+\hat{\mathbf{g}}^{T}\mathbf{w}\mathbf{w}^{T}\hat{\mathbf{g}}\\\mathrm{s.t.}&\quad\mathbf{e}^{T}\mathbf{e}\leq\sigma^{2}\end{aligned}
\]
单项式、Posynomial 与几何规划
注意,这里的单项式和代数的定义不相同!
单项式函数:
\[\begin{array}{c}\text{A function }f:\mathbb{R}^n\to\mathbb{R}\mathrm{~given~by}\\\\f(\mathbf{x})=cx_1^{a_1}\cdots x_n^{a_n},\mathrm{dom(f)}=\mathbb{R}_{++}^\mathrm{n},\end{array},其中c必须大于0,ai为实数,x必须大于0(定义域)
\]
下面的例子就是含两个变量的单项式函数:
\[f(x_1,x_2)=1.7x_1^{-0.3}x_2^{\sqrt{pi}}
\]
几何规划(GP):一种具有以下形式的优化问题
\[\begin{aligned}\mathrm{min.}&&f_{0}(\mathbf{x})\\\mathrm{s.t.}&&f_{i}(\mathbf{x})\leq1,i=1,\cdots,m\\&&h_{i}(\mathbf{x})=1,i=1,\cdots,p\end{aligned}
\]
其中f0(x)必须是正项式,f(i)也必须是正多项式,h(i)必须是单项式;注意右边必须是常数 1,如果不是 1,可以通过代数变形移过去(比如 g(x)≤5变成 g(x)/5≤1,因为系数 c>0,除法不改变正项式的性质。这里的xi定义域也是大于0,这个条件在 GP 中是隐含的(implicit),不需要你写在约束里,求解器默认就会在这个范围内寻找解。
几何规划并非凸优化问题,但是对数变换(Log Transformation)可以转换为一个完美的凸优化问题。
\[\text{令 }y_i=\ln x_i\text{(也就是 }x_i=e^{y_i})
\]
\[cx_1^{a_1}\cdots x_n^{a_n}\text{ 会变成 }e^{a^Ty+b}\text{。这是一个凸函数。}
\]
\[\text{正项式(求和)变成了 Log-Sum-Exp 函数:}\sum e^{a_k^Ty+b_k}\text{。这也是一个凸函数。}
\]
\[\text{约束 }f_i(x)\leq1\text{ 经过变换后,变成了}\ln(\sum e^{\cdots})\leq0\text{,就是凸约束}
\]
详细的h(i)约束过程:
\[\ln(cx_1^{a_1}x_2^{a_2}\cdots x_n^{a_n})=\ln(1)
\]
\[\ln(c)+a_1\ln(x_1)+a_2\ln(x_2)+\cdots+a_n\ln(x_n)=\ln(1)=0
\]
\[y_i=\ln(x_i),\ln(c)+a_1y_1+a_2y_2+\cdots+a_ny_n=0
\]
\[\text{令}d_i=\ln(c)(这是一个常数),\mathbf{g}_i=[a_1,a_2,\ldots,a_n]^T,\mathbf{y}=[y_1,y_2,\ldots,y_n]^T
\]
\[\mathbf{g}_i^T\mathbf{y}+d_i=0,证毕,此外你可以发现这是一个仿射等式,一条平滑的直线或者平面,求解非常简单
\]
我们将此称为凸形式几何规划问题,以区别于原始 GP 表述形式——后者称为正多项式形式几何规划问题。
例子1:Use GP to convert the following problem to a convex form,使用 GP 将以下问题转化为凸优化形式。
\[\begin{aligned}\mathrm{max.}&\quad a_{0}xy^{2}\\\mathrm{s.t.}&\quad b_{0}x/z+b_{1}y+b_{2}yz\leq d_{1}\\&\quad x_{\min}\leq x\leq x_{\max},z\leq y\text{ (all coefficients are positive)}\end{aligned}
\]
第一步,将其转换为GP的标准形式,所以同除等式右边的数,使得等式右边为1:
\[\begin{aligned}\max.&\quad a_{0}xy^{2}\\\mathrm{s.t.}&\quad(b_{0}/d_{1})xz^{-1}+(b_{1}/d_{1})y+(b_{2}/d_{1})yz\leq1\\&\quad x_{\min}x^{-1}\leq1,(1/x_{\max})x\leq1,zy^{-1}\leq1\end{aligned}
\]
第二步就是将其改写为凸形式:
\[因为\log(A\cdot B)=\log(A)+\log(B)\text{,且}\log(A^a)=a\log(A),所以将t1作为logx,t2作为logy,t3作为logz
\]
\[a_0(e^{t_1})(e^{t_2})^2=a_0e^{t_1}e^{2t_2}=a_0e^{t_1+2t_2},\log(a_0e^{t_1+2t_2})=\log(a_0)+\log(e^{t_1+2t_2})=\log(a_0)(为0)+t_1+2t_2
\]
\[限制条件:\log((b_{0}/d_{1})e^{t_{1}-t_{3}}+(b_{1}/d_{1})e^{t_{2}}+(b_{2}/d_{1})e^{t_{2}+t3})\leq0
\]
\[\log x_{\min}-t_{1}\leq0,\log(1/x_{\max})+t_{1}\leq0,t_{3}-t_{2}\leq0
\]
完毕,其实还是比较简单的。
例子2:将下列式子改写为GP convex形式
\[\min.\max\{x_1^2x_2^6,x_1^4x_2)\}\text{ to convex forms via GP}
\]
好了,我又忘了min.max了
min max 的策略就是:找到一组参数,使得两个指标中较大的那个,被压到最低。
引入松弛变量(slacking parameter)t,为什么?因为max的函数无法去求导,带有分段的性质,必须改写成其他式子。
我们令max{}小于t,此时第一个函数和第二个函数肯定也是小于t。
\[\begin{aligned}&\bullet f_1\leq t\\&\bullet f_2\leq t\end{aligned}
\]
\[这就是第一步了,\begin{array}{ccc}\mathrm{min.}&&t\\\mathrm{s.t.}&&x_{1}^{2}x_{2}^{6}\leq t,&x_{1}^{4}x_{2}\leq t\end{array}
\]
然后你就肯定知道了,x1,x2命名为一个新的变量后,将式子右边变为系数1,代入原式子中取对数。
\[\begin{array}{cc}\mathrm{min.}&t\\\mathrm{s.t.}&x_{1}^{2}x_{2}^{6}t^{-1}\leq1,\quad x_{1}^{4}x_{2}t^{-1}\leq1\end{array}
\]
结果如下
\[\begin{aligned}\min.&\quad z\\\mathrm{s.t.}&\quad2y_{1}+6y_{2}-z\leq0,\quad4y_{1}+y_{2}-t\leq0\\\mathrm{where~}z=\log t\mathrm{~and~}y_{i}=\log x_{i}\end{aligned}
\]
统一的代换规则:所有原始变量,统统取对数,换成新变量。所以这里1/t也取了对数。
例子3:
这里错误是发生在step2,还记得GP的定义么,限制条件必须为全部正项式,中间项-x1^0.2 x2^2.5一定是负的(GP默认定义域大于0),如果遇到这类问题,通常需要引入更多的辅助变量(比如令分母为 u,令 u 为新的变量),或者如果该问题不是真正的 GP,就不能用这种方法。警示学生:在 Step 2 一旦出现了负系数,就不要再往下做 Step 3 了,因为那已经不是一个合法的 GP 问题了。