《凸优化导论》期末冲刺
基础知识
- 线性空间、子空间
- 线性无关、线性相关、基、维数
- 线性映射
- 矩阵（二次型、正定、半正定、特征值）
- 矩阵作为数阵：半正定集，矩阵函数；作为向量集合：维数；作为线性映射：矩阵的值空间、零空间（线性映射）
- 简单矩阵求导（PPT中出现）
- 基本的数学分析概念：闭集合、开集合；收敛、发散（柯西准则、夹逼定理）；（相对）内点、边界点；连续、不连续；可导可微
第一章 引言
- 优化的基本概念（略）、优化问题建模
- 范数（定义、性质和应用）、常见范数、对偶范数
范数：齐次，非负，正定，三角不等式
\(l_p\)范数
\(X(\in S_{++}^n)\)范数
对偶范数\(\|z\|_{*}=\sup\{z^{T}x\mid\|x\|\leqslant1\}\)
\(l_{p}\)范数的对偶是 \(\ell_{q}\)范数，\(1/p+1/q=1\)
算子范数\(\|X\|_{\mathrm{a,b}}=\sup\left\{\|Xu\|_{\mathrm{a}}\mid\|u\|_{\mathrm{b}}\leqslant1\right\}\)
当\(a=b=2\)，算子范数成为谱范数。\(\|X\|_2=\sigma_{\max}(X)=(\lambda_{\max}(X^TX))^{1/2}\)
核范数\(\|Z\|_{2*}=\sigma_1(Z)+\cdots+\sigma_r(Z)=\mathrm{tr}(Z^TZ)^{1/2}\)
第二章 凸集
- 仿射集（与线性子空间的关系）、仿射包、仿射维度、凸集合、凸包、锥、凸锥、锥包、超平面、半空间、球、椭圆、范数球、范数锥、多面体、半正定锥、正定锥
- 保凸运算（交集、仿射函数、线性分式及透视函数）
- 正常锥与广义不等式（最小元与极小元）
- 分割超平面定理、支撑超平面定理
- 对偶锥
正常锥：凸的闭的实的尖的
超平面分离定理：逆命题不成立、不一定严格分离。点和闭凸集可以严格分离。
对偶锥：
\(K^{*}\) 是闭凸锥。\(K_1\subseteq K_2\) 可导出 \(K_2^*\subseteq K_1^*\)。
如果 K 有非空内部，那么 \(K^*\) 是尖的。
如果 \(K\) 的闭包是尖的，那么 \(K^*\) 有非空内部。
\(K^{**}\) 是\(K\) 的凸包的闭包。(因此，如果 \(K\) 是凸和闭的，则 \(K^{**}=K\)。)
第三章 凸函数
- 凸函数的定义、扩展值函数、凸函数的一阶条件、凸函数的二阶条件（♠）、下水平集、上镜图、Jensen不等式
- 保凸运算（♠）（非负加权求和、带有仿射映射的组合、逐点最大值、逐点上确界、标量函数组合、向量函数组合、最小化、透视函数）
- 共轭函数
- 拟凸函数
- 对数凹（凸）函数
估计要考一个根据凸函数的二阶条件判断凸性，再考一个根据保凸运算判断凸性。
要会利用函数复合判断凸凹性。
最小化保凸的条件是在凸集上最小化。
共轭函数一定是凸的。
拟凸性的定义（求和->最大）、一阶二阶充要条件、保凸性（非负加权求和->非负加权最大、复合、最小化）
对数凸函数的定义、性质
矩阵凸性
设函数 \(f\) 是对称矩阵值函数，即 \(f:\mathbb{R}^n\to\mathbb{S}^m\)。称函数 \(f\) 关于矩阵不等式是凸的，如果对任意 \(x\) 和 \(y\) 以及 \(\theta\in[0,1]\),有
这种凸性有时称为矩阵凸性。一个等价的定义是对任意向量 \(z\),标量函数 \(z^Tf(x)z\) 都是凸函数。(这是一个证明矩阵凸性的好方法)。称矩阵函数为严格矩阵凸的，如果对 \(x\neq y\) 和\(0<\theta<1\),有
\(f(\theta x+(1-\theta)y)\prec\theta f(x)+(1-\theta)f(y)\),
或者等价地，如果对任意 \(z\neq0\) 函数 \(z^Tfz\) 严格凸。一些例子。
·函数 \(f(X)=XX^T\),其中 \(X\in\mathbb{R}^{n\times m}\),是矩阵凸的，这是因为任选 \(z\),函数\(z^TXX^Tz=\|X^Tz\|_2^2\) 是 \(X\) (分量) 的凸的二次函数。同理，函数 \(f(X)=X^2\) 在\(\mathbb{S}^n\) 上也是矩阵凸的。
·当\(1\leqslant p\leqslant2\) 或 \(-1\leqslant p\leqslant0\) 时，函数 \(X^p\) 在 \(\mathbf{S}_{++}^n\) 上是矩阵凸的，当 \(0\leqslant p\leqslant1\) 时，
函数是矩阵凹的。
第四章 凸优化
- 目标函数、优化变量、不等式约束、等式约束、可行解、最优值、最优点、局部最优点、全局最优点、优化问题的标准形式
- 凸优化问题的标准形式（♠）、局部最优、全局最优、可微函数最优条件（简单约束问题）（♠）
- 等价的优化问题、变量变换、函数变换、松弛变量、消除等式约束、引入等式约束
- 凸优化的常见类型，如线性规划、最小二乘等
估计又有标准形式判断的题目。或者是转换成标准形式的题目。因此等价的优化问题那些技巧也很重要。最优条件不用说，太重要了。
经典优化问题内容十分丰富。。
隐式约束没那么复杂。就是把约束直接改到目标函数的定义域里。在后边拉格朗日对偶问题会用处。
第五章 对偶
- Lagrangian、Lagrange乘子、Lagrange对偶函数、最优值的下界、Lagrange对偶问题、对偶约束条件
- 弱对偶性、强对偶性、Slater约束准则、互补松弛条件、KKT条件
- 对偶转化（♠）：引入新变量和等式约束、目标函数变换、隐藏约束
互补松驰条件联合其他必要条件一起，形成了一个不错的强对偶性的必要条件，而且这个条件在凸问题下就成了充要的了。
期中考试题
现在看来题出的还是挺好的。
1.2.3.4.5只需要会用凸函数的定义/判定即可。
\(\inf_{x\in conv(X)}c'x\leq\inf_{x\in X}c'x\)是显然的，只需要证明\(\inf_{x\in conv(X)}c'x\geq\inf_{x\in X}c'x\)
任意 \(\bar{x}\in conv(X)\) 均可写为 \(\bar{x} = \sum _{i= 1}^m\alpha_ix_i,\) 其中\(x_1, \ldots , x_m\in X\) 且参数\(\alpha_{1},\ldots,\alpha_{m}\geq0\) 满足 \(\sum_{i=1}^{m}\alpha_{i}=1\)。因此，
\(c'\bar{x}=\sum_{i=1}^m\alpha_ic'x_i\geq(\sum_{i=1}^m\alpha_i)\inf_{x\in X}c'x=\inf_{x\in X}c'x,\quad\forall\bar{x}\in conv(X).\)
关于\(\bar{x}\in conv(X)\) 取左侧的下确界为
结合上两式可得
显然集合\(X\)上每个可以到达\(c^{\prime}x\) 的下确界的点都可以在集合 \(conv(X)\) 中找到，因此右边可以达到时左边也能达到。相反，假设函数 \(c^{\prime}x\) 在集合 \(conv(X)\) 的下确界可以在 \(\bar{x}=conv(X)\) 上找到。对于由变量 \(x_1,\ldots,x_m\) 和满足 \(\sum_{i=1}^m\alpha_i=1\) 的标量\(\alpha_1,\ldots,\alpha_m\geq0\) 构成的变量 \(\bar{x}=\sum_{i=1}^m\alpha_ix_i\), 有
由于满足取等条件，对于所有的 \(i\) 和 \(\alpha_i>0\), \(c^{\prime}x_{i}=\operatorname*{inf}_{x\in conv(X)}c^{\prime}x\) 。因此，集合\(X\) 的 \(c^{\prime}x\) 的下确界可以到达。
- 共轭函数的定义，问题降维。
- \(\begin{aligned}&\text{ 令 }C\text{ 为一个在 }R^n\text{ 上的非空闭合凸锥,令 }x\in R^n\text{。试证明当且仅当 }\hat{x}\in C,(x-\\&\hat{x})'\hat{x}=0,\hat{x}-x\in C^\star\text{ 时, }\hat{x}\text{ 是 }x\text{ 在 }C\text{ 上的投影。}\end{aligned}\)
证明 令\(\hat{x}\)是\(x\) 在\(C\) 上的投影 (由于\(C\) 是凸的且闭合的，所以必然且唯一存在\(\hat{x}\) 满足条件)。通过投影定理可得
由于\(C\) 是一个锥体，可以推断出 \((\frac{1}{2})\hat{x}\in C\) 和 2\(\hat{x}\in C\), 并且通过取 \(y=(\frac{1}{2})\hat{x}\) 和\(y=2\hat{x}\), 可以推断出
通过结合上述两式可得
这说明 \(x-\hat{x}\in C^\star\)。相反的，若 $\hat{x} \in C, ( x- \hat{x} ) ^{\prime}\hat{x} = 0, \quad $ 且$\hat{x}-x \in C^\star , \quad $则可以推断出
并且根据投影定理可得，\(\hat{x}\) 是 \(x\) 在 \(C\) 上的投影。
习题
第二章
2.2 证明一个集合是凸集当且仅当它与任意直线的交是凸的。证明一个集合是仿射的当且仅当它与任意直线的交是仿射的。
这个题和期中考试那个题不一样。那个是函数，这个是集合，这个更简单。集合交运算的保凸性。弄清楚仿射集合和凸集合的定义即可。
2.3 中点凸性。集合C是中点凸的，当C中任意两点a,b的平均或中点(a+b)/2也属于C。显然凸集是中点凸的。可以证明在一些很微弱的条件下，中点凸可以导出凸性。作为一个简单的例子，证明如果C是闭和中点凸的，那么C是凸集。
\(\theta^{(k)}=c_12^{-1}+c_22^{-2}+\cdots+c_k2^{-k}\)
\(\begin{aligned}\lim_{k\to\infty}(\theta^{(k)}x+(1-\theta^{(k)})y)=\theta x+(1-\theta)y\in C\end{aligned}\)
二分法逼近的思路即可，但这样写明显更加赏心悦目。
2.10 二次不等式的解集。令 \(C\subseteq\mathbb{R}^n\) 为下列二次不等式的解集 \(C=\{x\in\mathbf{R}^n\mid x^TAx+b^Tx+c\leqslant0\},\)
其中\(A\in\mathbf{S}^n,\:b\in\mathbf{R}^n,\:c\in\mathbf{R}\)。(a) 证明：如果 \(A\succeq0\),那么 \(C\) 是凸集。
(b) 证明：如果对某些 \(\lambda\in\mathbf{R}\) 有 \(A+\lambda gg^T\succeq0\),那么 \(C\) 和由 \(g^Tx+h=0\)(这里 \(g\neq0\))
定义的超平面的交集是凸集。
以上命题的逆命题是否成立？
给人印象最深最深的一道题。如下图，第一问就凸集定义+变形。逆命题直接举反例。当然答案的方法也可以，利用直线上凸性等价判断，转化成二次函数的问题。
第二问也没有看起来那么难，还是凸集的定义。
2.12 判断一类集合的凸性。
记住结论还有那个反例即可。
2.17 透视函数下的多面体集合。在这个问题中，我们研究超平面、半空间及多面体在透视函数P(x,t)=x/t下的像，其中domP=Rn×R++。对于下面每个集合C,给出形如P(C)={v/t(v,t)EC,t>0}的简单表示。
注意区分这里的透视函数和后面学的透视函数。这里学的是表示线性分式函数用的。而且它和线性分式函数都保凸。
第三章
第四章
第五章
常见优化问题总结
-
无约束二次规划
-
线性方程组的最小二乘解
\(\begin{array}{ll}\text{minimize}&x^Tx\\\text{subject to}&Ax=b\end{array}\) -
标准形式线性规划
\(\begin{matrix}\text{minimize}&c^Tx\\\text{subject to}&Ax=b\\&x\succeq0 \end{matrix}\) -
双向划分问题（非凸）
\(\begin{array}{ll}\text{minimize}&x^TWx\\\text{subject to}&x_i^2=1,\quad i=1,\cdots,n\end{array}\) -
等式约束条件下的范数极小化（凸）
\(\begin{array}{ll}\mathrm{minimize}&\|x\|\\\mathrm{subject~to}&Ax=b\end{array}\)
方法：利用共轭函数表示拉格朗日对偶函数 -
熵的最大化
\(\begin{array}{ll}\mathrm{minimize}&f_0(x)=\sum_{i=1}^nx_i\log x_i\\\mathrm{subject~to}&Ax\preceq b\\&1^Tx=1\end{array}\) -
等式约束二次凸问题求极小
\(\begin{array}{ll}\text{minimize}&(1/2)x^TPx+q^Tx+r\\\text{subject to}&Ax=b,\end{array}\) -
无约束几何规划
\(\mathrm{minimize}\quad\log\left(\sum_{i=1}^{m}\exp(a_{i}^{T}x+b_{i})\right)\)
其他
范数的定义：非负的，正定的，齐次的，满足三角不等式的
浙公网安备 33010602011771号