Convex Optimization 凸优化合集
仿射集:定义与性质
Affine Sets: Definition and Properties:
定义为如果集合中任意两点的直线都完全属于该集合,则这个集合为仿射集合。
换言之,如果所有的x都能在x1,x2连接的直线上被找到,那么这个合集就是仿射集。
θ为任何实数。
凸集:定义和例子
Convex Sets: Definition and Examples:
定义为如果集合中任意两点的连线都完全属于该集合,则这个集合为凸集。
换言之,如果所有的x都能在x1,x2连接的中间线段上被找到,那么这个合集就是凸集。
θ为任意[0,1]的数。
\[\text{Is the set }C=\{0\leq x\leq1\}\bigcup\{10\leq x\leq12\}\mathrm{~convex?}
\]
x1取0.5,x2取11,中点x为5.5不属于合集C,所以不满足凸集。
x属于正实数集,x1x2大于等于1。(注意,这个x1x2没有加粗,所以说明这里的x1,x2代表点x的两个维度坐标)
注意:
\[\theta^2x_1x_2+(1-\theta)^2y_1y_2+(1-\theta)\theta[x_1y_2+x_2y_1]
\]
\[使用恒等式:(x_1-y_1)(x_2-y_2)=x_1x_2-x_1y_2-x_2y_1+y_1y_2
\]
\[x_1y_2+x_2y_1=x_1x_2+y_1y_2-(x_1-y_1)(x_2-y_2)
\]
\[\text{原式}=\theta^2x_1x_2+(1-\theta)^2y_1y_2+\theta(1-\theta)[\mathbf{x_1x_2+y_1y_2-(x_1-y_1)(x_2-y_2)}]
\]
合并同类项就能得到上述的式子,再使用点x与y的关系进行缩放就能得到结果,证明这个合集是凸集。
这个概念可以进行扩展,如果x向量是n维度,有x1-xk其中的每一个向量属性x1-xk均在这个合集C中,那么也可以认为这个合集是凸集。
凸包 Convex Hull: Definition and Examples:
凸包的含义简单理解就是在C集合中存在不同的点,选择最小的一个区域满足使该合集变成凸集,这个区域就叫做凸包。
左图为非常多数量的点,凸包选择为最外层的点并且连线,此时,这个区域就满足了凸集的要求,这个最小的凸集合集就是凸包。
右图原本为上方nonconvex的图,现在链接两个端点,此时的这个凸集就是凸包。
锥与凸锥 Cones: Definition and Examples
1.如果一个集合里的任意一个点 𝑥,你沿着从原点(0)出发的方向,把它无限拉长(乘以任何大于等于0的数 𝜃),得到的点仍然在这个集合里,那它就是个“锥”。
2.凸锥 = 是锥 + 是凸集。
- 左图: 只有两条孤立的射线。如果你在 x1 射线上取一个点,在 x2 射线上取一个点,两点的连线会掉到两条射线中间的空白区域。这就说明它不是凸的。所以它只是“锥”,但不是“凸锥”。
- 右图: 把两条射线之间的空白全部填满了。这个时候,任意两点的连线都在里面,它就成了“凸锥”。
第一象限肯定是锥,因为沿着xy轴无限延长,并且无论正数θ取值如何,都能在第一象限找到对应的点,所以它满足凸集的条件。
超平面与半空间 Hyperplanes and Half spaces


在二维平面(x−y 坐标系)里,一条直线的方程通常写成:ax+by=c,这条直线把整个平面分成了两半。
\[\begin{aligned}&\text{数学家觉得 }ax+by=c\text{ 写起来太麻烦,就用向量来表示。}\\&\bullet\text{ 设向量 }\mathbf{a}=\begin{bmatrix}a\\b\end{bmatrix}\quad(\text{这叫法向量})\\&\bullet\text{ 设向量 }\mathbf{x}=\begin{bmatrix}x\\y\end{bmatrix}\quad\text{(这是直线上的任意一点)}\\&\text{把它们点乘起来:}\mathbf{a}^T\mathbf{x}=ax+by\mathrm{。}\\&\text{所以直线方程就变成了:}\mathbf{a}^T\mathbf{x}=b。\\&\text{这就是幻灯片上的定义:}\{\mathbf{x}:\mathbf{a}^T\mathbf{x}=b\}\mathrm{。}\end{aligned}
\]
- 在二维空间里,它是一条直线。
- 在三维空间里,它是一个平面。
- 在更高维空间(n维)里,它就被统称为超平面(Hyperplane)。
拿三维空间举例,在三维空间中,一个平面(也就是超平面)把整个空间劈成了两半。这两半(也就是两个半空间),各自都是凸集。
\[\text{ Example : Find the hyperplanes }\left\{\mathbf{x}\in\mathbb{R}^{2}:\mathbf{a}^{T}\mathbf{x}=b\right\},\mathrm{~with~}\mathbf{a}=\begin{bmatrix}1\\0\end{bmatrix}^{T},\quad b=2.
\]
\[\begin{aligned}&\bullet\text{ 法向量 }\mathbf{a}=\begin{bmatrix}1\\0\end{bmatrix}\text{(也就是横坐标是1,纵坐标是0)}\\&\bullet\text{ 偏移量 }b=2\\&\bullet\text{ 我们要找满足 }\mathbf{a}^T\mathbf{x}=b\text{ 的点 }\mathbf{x}。\\&\text{我们把 }\mathbf{x}\text{ 写成坐标形式 }\begin{bmatrix}x_1\\x_2\end{bmatrix}。\\&\text{套入公式算一下}\mathbf{a}^T\mathbf{x}:\\&\begin{bmatrix}1&0\end{bmatrix}\cdot\begin{bmatrix}x_1\\x_2\end{bmatrix}=1\cdot x_1+0\cdot x_2=x_1\\&\text{所以公式 }\mathbf{a}^T\mathbf{x}=b\text{ 就变成了}:\\&x_{1}=2\end{aligned}
\]
在二维坐标,这就代表着这是一条垂直于y轴,穿过横坐标2的锤子线,the hyperplane is a straight line x1=2。
\[\mathbf{a}^\perp=\left\{\mathbf{v}:\mathbf{a}^T\mathbf{v}=0\right\},这个符号表示垂直于a向量,v表示任何一个与法向量a垂直的向量
\]
Example:What is the distance between two parallel hyperplanes
\[\{\mathbf{x}\in\mathbb{R}^n:\mathbf{a}^T\mathbf{x}=b_1\}\mathrm{~and~}\{\mathbf{x}\in\mathbb{R}^n:\mathbf{a}^T\mathbf{x}=b_2\}
\]
这两个超平面之间的距离,也等于点 x₁ 与 x₂ 之间的距离,其中这两个点位于超平面与过原点且平行于法向量 a 的直线之交点处。
这里,x1,x2都在a向量上,有x1和x2的坐标,那么它们之间的距离就是两个向量相减的模长:
\[\begin{aligned}\|\mathbf{x}_1-\mathbf{x}_2\|_2&=\left\|\frac{b_1}{\|\mathbf{a}\|_2^2}\mathbf{a}-\frac{b_2}{\|\mathbf{a}\|_2^2}\mathbf{a}\right\|_2\\\\&=\left\|\frac{b_1-b_2}{\|\mathbf{a}\|_2^2}\mathbf{a}\right\|_2\end{aligned}
\]
\[\begin{aligned}&\text{公式 }\frac{|b_1-b_2|}{\|\mathbf{a}\|_2}\text{ 的意思是:先算出两条线在法向量方向上的“刻度差”(}b_1-b_2\text{),然后除以法向量本身的“拉}\\&\text{伸倍数”(}\|\mathrm{a}\|_2\text{),就能还原出它们之间真实的垂直距离。}\end{aligned}
\]
多面体 polyhedra
注意:Here ⪯ denotes component wise inequality (u ⪯ v means [u]k ≤ [v]k ).
公式:
\[\mathcal{P}=\{\mathbf{x}:\mathbf{A}\mathbf{x}\preceq\mathbf{b},\mathbf{C}\mathbf{x}=\mathbf{d}\}
\]
\[\begin{aligned}&\mathbf{Ax}\preceq\mathbf{b}\text{(不等式组):定义了多个半空间。}\preceq\text{这个符号意思是“按分量比较,每个元素都小于等于”。}\\&\text{比如二维里,它可能代表 }x_{1}+x_{2}\leq5\text{,且 }x_{1}\geq0\text{ 等等。每一个不等式都像一把刀,切掉空间的一部}\\&\text{分。}\\&\mathbf{Cx}=\mathbf{d}\text{(等式组):定义了超平面。要求点必须严格落在这个平面上。}\end{aligned}\\
\]
多面体就是有限个半空间和超平面的交集。简单理解就是想象一下你有一个空间,你根据Ax的要求进行切割,每一刀都会分割区域,最后剩下来的实心浅蓝色区域P就是多面体。由于多面体是半空间和超平面的交集,所以它是凸集。
- 半空间是凸集。
- 超平面也是凸集。
- 数学定理:任意多个凸集的交集,依然是凸集。(几个没有凹坑的圆相交,重叠部分依然没有凹坑)。
多面体就是一刀刀切出来的(每一刀都是切掉半个凸空间,剩下的还是凸的),所以多面体永远是一个凸集。优化问题里特别喜欢用多面体,性质非常优秀。
\[\text{为什么是 }\mathbf{Ax}\preceq\mathbf{b}\text{,而不是}\succeq?\text{因为法向量(a)指向哪边,}\mathrm{Ax}\preceq\mathrm{b}\text{ 就规定哪边朝内。}
\]
\[\begin{aligned}&\text{ }\mathbf{A}\mathbf{x}\preceq\mathbf{b}\text{ 是什么意思呢?}\mathbf{a}^{T}\mathbf{x}\leq b\text{ 的意思是:点 }\mathbf{x}\text{ 在法向量 }\mathbf{a}\text{ 的反方向那一侧。}\\&\text{因为 }\mathbf{a}\text{ 朝外,所以 }\mathbf{a}^{T}\mathbf{x}\leq b\text{ 强制要求点必须待在法向量的背面,也就是被围在蓝色区域里面。}\end{aligned}
\]
范数球与范数锥 norm ball and norm cones
范数球 (norm ball)
- 定义: 对于一个一般的范数(可以理解为定义“长度”或“距离”的规则),以 xc 为中心,半径为 r 的范数球 B(xc,r)B(xc,r) 定义为所有满足 ∥x−xc∥≤r的点 x 的集合。
- 通俗解释: 这就像是在问:“在这个定义的距离规则下,离中心点 xc 距离不超过 r 的所有点在哪里?”所以,理所应当,在这个球的内,所有的点连线肯定也在球内,理所应当,范数球肯定是凸集。
范数锥 (Norm Cones)
\[\text{定义:对于 }\mathbb{R}^n\text{ 空间上的范数,范数锥是一个集合 }\mathcal{C}=\{(\mathbf{x},t):\|\mathbf{x}\|\leq t\}\mathrm{。}
\]
通俗解释: 这里的 t 通常代表高度或时间。这个定义说的是:所有那些“水平位置 x 的范数(大小)不超过其高度 t”的点组成的集合。
由于 t 必须大于等于范数(也就是非负的),这个形状像一个向上无限延伸的漏斗或冰淇淋筒。其底部的尖端在原点。
为什么||x||小于等于t画出来是锥呢,拿上图举例,锥体是由从0到t每一层进行叠加而来。想象一下,当高度为1的时候,点x坐标为(x,y), 那么根据定义有
\[\sqrt{x^2+y^2}\leq1\mathrm{}
\]
切出来一个直径为1的圆,然后说明t为1高度时,为一个直径为1的圆,以此类推,层层叠加(有种积分的感觉),一直到t结束,得到的肯定就是一个锥体。也理所应当,锥体上的点点连线肯定在锥体上,所以这也是一个凸集。
半正定锥 positive semi-definite cone
\[\text{公式: }\mathbb{S}_+^n=\{\mathbf{X}\in\mathbb{S}^n:\mathbf{X}\succeq0\}
\]
\[S^{n}: \text { 代表所有 } n \times n \text { 的实对称矩阵组成的集合。 }\\
\mathbf{X} \succeq 0: \text { 这是一个记号, 意思是矩阵 } \mathbf{X} \text { 是半正定 (Positive Semidefinite, PSD) 的。
} \ \text { } \text { }\\
S_{+}^{n}: \text { 所有 } n \times n \text { 半正定对称矩阵的集合, 就叫做半正定锥。 }
\]
关于半正定可以参考之前随笔;为什么它被称为“锥 (Cone)”?
\[\begin{aligned}&\text{在向量空间 }\mathbb{R}^n\text{ 里,二阶锥是一个形状。}\\&\text{在矩阵空间 }\mathbb{S}^n\text{ 里,半正定矩阵组成的集合 }\mathbb{S}_+^n\text{ 同样构成了一个凸锥。}\end{aligned}
\]
\[\begin{aligned}&\text{矩阵空间 }\mathbb{S}^n\text{ 其实可以看作一个高维的欧几里得空间。比如 }2\times2\text{ 的对称矩阵 }\begin{bmatrix}a&b\\b&c\end{bmatrix}\text{,其实只由三个}\\&\text{独立的变量 }(a,b,c)\text{ 决定。所以它可以放在一个三维坐标系里。}\\&\text{在这个空间里,半正定矩阵的条件是:}a\geq0,c\geq0,ac-b^2\geq0\text{。这个不等式组画出来的图形,正是}\\&\text{一个立体的锥体!}\end{aligned}
\]
上述比喻不完全正确,但是旨在帮助理解为什么是一个锥。这是同构(Isomorphism)”的思想,虽然矩阵和向量是两种不同的东西,但在特定情况下,它们可以一一对应。
这里不是你理解的那种完全正正方方的锥体,这个锥体是由抛物线构成的:
\[c\geq\frac{b^2}{a}
\]
它满足锥的定义,也满足凸集的定义。
题外话,对称矩阵代表什么呢?
\[\mathbf{S}=\begin{bmatrix}a&b\\b&c\end{bmatrix}
\]
这里a和c代表一个维度的拉伸倍数,是权重系数。它们决定了原始坐标轴(x轴和y轴)上的分量,在变形后,各自的缩放,对于b:
\[\begin{aligned}&\text{原来水平方向的单位向量 }(1,0){:}\\&\text{矩阵作用后变成}\begin{bmatrix}1&b\\b&1\end{bmatrix}\begin{bmatrix}1\\0\end{bmatrix}=\begin{bmatrix}1\\b\end{bmatrix}.\\&\text{你看,原本水平向右的箭头,现在向上翘起来了(纵坐标}\\&\cdotp\text{原来垂直方向的单位向量 }(0,1){:}\\&\text{矩阵作用后变成}\begin{bmatrix}1&b\\b&1\end{bmatrix}\begin{bmatrix}0\\1\end{bmatrix}=\begin{bmatrix}b\\1\end{bmatrix}.\end{aligned}
\]
所以 b 的本质是“耦合”或者“串扰”:
- 如果 b=0,x 和 y 各管各的,互不干扰,网格保持横平竖直(只是被 a 和 c 拉伸或压缩了)。
- 如果 b≠0,x 和 y 就纠缠在一起了。动 x,y 也会跟着变;你动 y,x 也会跟着变。这种纠缠,在几何上就表现为网格的倾斜(错切)。

$$
\begin{aligned}&\text{符号含义:}\mathbb{S}^n\text{ 代表 }n\times n\text{ 的对称矩阵空间。}\mathbb{S}_+^n\text{ 代表其中所有的半正定矩阵(Positive Semidefinite}\\&\text{Matrix)的集合。}\\&\text{定义:如果一个对称矩阵 }\mathbf{A}\text{ 是半正定的,那么对于任何非零向量 }\mathbf{x}\text{,都有 }\mathbf{x}^T\mathbf{A}\mathbf{x}\geq0\mathrm{。}\end{aligned}
$$
**这里其实是在证明为什么半正定矩阵均为凸锥**。
$$
\text{取两个半正定矩阵 }\mathbf{A},\mathbf{B}\in\mathbb{S}_+^n\text{,以及两个非负的标量(系数)}\theta_1,\theta_2\geq0。\text{根据定义我们需要判断这两个矩阵的加权和 }\theta_1\mathbf{A}+\theta_2\mathbf{B}\text{ 是否半正定的。}
$$
\[\mathbf{x}^{T}(\theta_{1}\mathbf{A}+\theta_{2}\mathbf{B})\mathbf{x}=\mathbf{x}^{T}\theta_{1}\mathbf{A}\mathbf{x}+\mathbf{x}^{T}\theta_{2}\mathbf{B}\mathbf{x}\geq0
\]
目的是证明:两个半正定矩阵的非负加权和,依然是半正定矩阵。(x表示某空间中的一个点,v表示方向或者速度)
\[\text{已知条件:}\mathbf{A}\text{ 是半正定的,}\mathbf{B}\text{ 是半正定的。根据定义,这意味着 }\mathbf{x}^T\mathbf{A}\mathbf{x}\geq0\text{ 且 }\mathbf{x}^T\mathbf{B}\mathbf{x}\geq0。(x和v计算出来一致)
\]
\[\text{我们把它们组合成一个新矩阵 }(\theta_1\mathbf{A}+\theta_2\mathbf{B})\mathrm{。}现在我们需要证明这个新的矩阵也是半正定。
\]
显然,这个新的矩阵为半正定,注意x,z只代表拉伸的力度和方向,z肯定且必须为正数(一阶主子式(也就是左上角的元素x)必须 ≥0),xz不然怎么会大于y的平方。
凸集的判断 The Calculus of Convex Sets
凸集你真的用定义来判断,通常是判断不出来滴🐶,所以我们一般会使用基础凸集来进行组合,从而观测复杂的集合C是否能被视作由这些基础凸集通过某些特定的运算(比如:直线/超平面、半空间、球体/范数球)组合出来的。
保凸运算
如果几个基础集合都是凸的,经过某些运算后,得到的新集合仍然是凸的,那么这些运算就被称为“保凸运算 (Convexity Preserving Operations)”。这就像一个“凸性守恒定律”,这里列出最常用的三种保凸运算:
A. 交集 (Intersection)
- 规则:任意个凸集的交集,依然是凸集。
- 直觉:几个圆(凸集)重叠在一起,重叠的部分(交集)一定也是凸的。哪怕有无穷多个凸集相交,结果依然是凸的。
例如我给你一个有关cos(t)的复杂函数,你大概率根据定义算不出来,但是你可以通过cos(t)大于等于-1,小于等于1进行判断,此时就变成了两个超平面内的空间区域。
B. 仿射函数 (Affine functions)
- 规则:如果你对一个凸集进行平移、缩放、旋转(这些统称为仿射变换 f(x)=Ax+b),得到的像(Image)依然是凸集。反过来,凸集的原像(Pre-image)也是凸集。
- 直觉:把一个圆(凸集)拉伸、旋转、平移,它可能变成椭圆或另一个圆,但绝不会变成一个月牙形(非凸)。凸性在这个过程中被完美保留了。
\[\text{A slab, defined as a set of the form }\{\mathbf{x}\in\mathbb{R}^n:\alpha\leq\mathbf{a}^T\mathbf{x}\leq\beta\}
\]
\[\text{A rectangle, defined as a set }\{\mathbf{x}\in\mathbb{R}^n:\alpha_i\leq x_i\leq\beta_i,i=1,\cdots,n\}
\]
\[\text{A wedge, defined as a set }\{\mathbf{x}\in\mathbb{R}^n:\mathbf{a}_1^T\mathbf{x}\leq b_1,\mathbf{a}_2^T\mathbf{x}\leq b_2\}
\]
这里分别对应,平板(两个平行的半空间的交集),矩形(多个半空间的交集),楔形(两个半空间的交集(形状类似倒三角))
如果你对一个凸集进行平移、缩放、旋转、投影(这些统称为仿射变换),得到的新集合一定还是凸集。反过来,如果你用一个凸集去“圈定”原空间里的范围(求原像),那个范围也是凸集。
仿射函数的定义为:
\[\mathbf{f}(\mathbf{x})=\mathbf{A}\mathbf{x}+\mathbf{b}
\]
那么有:
\[\mathcal{S}\text{ 是凸集}\Rightarrow\mathbf{f}(\mathcal{S})=\{\mathbf{f}(\mathbf{x}):\mathbf{x}\in\mathcal{S}\}\text{ 也是凸集。}
\]
- 把它拉伸成椭圆(乘以矩阵 A)。
- 把它挪到桌子另一边(加上向量 b)。
- 无论怎么拉伸、挤压、平移,只要你不把它撕破、不把它折出凹痕,它永远不可能变成一个“月牙形”或“甜甜圈形”。它依然是一个没有凹陷的凸形状(比如椭圆)。
- 为什么? 因为仿射变换只是对空间进行了“均匀”的扭曲,它不会让两点之间的直线跑到集合外面去。
其次:
\[\mathcal{C}\text{ 是凸集}\Rightarrow\mathbf{f}^{-1}(\mathcal{C})=\{\mathbf{x}:\mathbf{f}(\mathbf{x})\in\mathcal{C}\}\text{ 也是凸集。}
\]
\[\begin{gathered}\text{缩放(Scaling): }\alpha\mathcal{S}=\{\alpha\mathbf{x}:\mathbf{x}\in\mathcal{S}\}\text{把一个凸集放大或缩小(相当于 }\mathbf{A}=\alpha\mathbf{I},\mathbf{b}=0\text{),结果}\\依然是凸集。\\\text{平移(Translation):}S+\mathbf{a}\text{把一个凸集整体平移(相当于 }\mathbf{A}=\mathbf{I},\mathbf{b}=\mathbf{a}\text{),结果依然是凸集}.\end{gathered}
\]
\[\begin{aligned}&\mathbf{f}^{-1}(\mathcal{C})\text{:这叫“原像”。它的意思是:所有那些经过机器 f 加工后,结果刚好落在目标区域 }C\text{ 里的“原始}\\&\text{输入 }\mathrm{x}^{\prime\prime}\text{的集合。}\\&\circ\text{ 注意: }\mathbf{f}^{-1}\text{ 不是指反函数(很多时候反函数根本不存在),而是指“往回找源头”}\end{aligned}
\]
C. 透视函数和线性分式函数 (Perspective and linear-fractional functions)
- 规则:这是一类比仿射函数更复杂的变换(通常涉及到除法,比如把高维空间投影到低维空间)。
- 直觉:最经典的理解是“投影”。想象一个三维空间里的圆锥体(凸集),如果你用一束光把它投影到一个二维平面上,只要这个投影方式是特定的透视/分式形式,得到的二维阴影形状依然是凸的。这在几何规划(Geometric Programming)中非常有用。


线性分式函数(及其逆运算)是非常“安全”的变换。
- 你把一个半空间扔进去变一下,出来的还是个半空间。
- 你把一个多面体扔进去变一下,出来的还是个多面体。
- 因为这些基础形状(半空间、多面体)都是凸集,所以也就证明了线性分式函数具有“保凸性”。
遇到极其复杂的带有分式的约束条件,只要看到它的核心结构满足上述公式,就可以直接断定:这是一个凸约束,用凸优化方法解!
example:(二阶锥是已经确定了的凸集。)
\[\begin{aligned}&\text{Hyperbolic cone:}\\&\mathrm{The~set}\left\{\mathbf{x}:\mathbf{x}^{T}\mathbf{P}\mathbf{x}\leq(\mathbf{c}^{T}\mathbf{x})^{2},\mathbf{c}^{T}\mathbf{x}\geq0\right\},\mathrm{where~}\mathbf{P}\in S_{+}^{n}\mathrm{~and~}\mathbf{c}\in\mathbb{R}^{n}.\\&\bullet\text{A second-order cone on }\mathbb{R}^{n}\text{ is the set }\mathcal{C}=\{(\mathbf{x},t):||\mathbf{x}||_{2}\leq t\}\end{aligned}
\]
\[\mathbf{x}\text{:这是一个变量向量。比如在二维空间里,}\mathbf{x}=\begin{bmatrix}x_1\\x_2\end{bmatrix}\text{。你可以把它想象成空间里的一个点。}
\]
\[\begin{aligned}&\mathbf{P}\text{:这是一个已知的矩阵(具体来说是半正定矩阵,你可以先把它当成一组固定的系数)。}\\&\mathbf{c}\text{:这是一个已知的向量(也是一组固定的系数)。}\end{aligned}
\]
\[\begin{aligned}&\mathbf{x}^T\mathbf{P}\mathbf{x}\text{:这叫二次型。算出来的结果是一个数字(标量)。它本质上是对 }\mathbf{x}\text{ 里的各个元素进行平方和交}\\&\text{叉相乘,再加起来。}\\&\mathbf{c}^T\mathbf{x}\text{:这叫点积(或内积)。算出来的结果也是一个数字。你可以把它理解为向量 }\mathbf{x}\text{ 在向量 }\mathbf{c}\text{ 方向上的}\\&\text{投影长度。}\end{aligned}
\]

$$
\mathbf{c}^T\mathbf{x}=\|\mathbf{c}\|\cdot\|\mathbf{x}\|\cdot\cos(\theta)
$$
这里我们根据上述的hyperbolic cone的定义,如果能够通过变化,将其变成一个符合条件的特殊二阶锥,就能证明这个是 凸集。
需要满足如下条件:
\[\begin{aligned}&\\&1.\mathbf{x}^T\mathbf{P}\mathbf{x}\leq(\mathbf{c}^T\mathbf{x})^2\\&2.\mathbf{c}^T\mathbf{x}\geq0\end{aligned}
\]
替换:
\[\begin{aligned}&把x替换成y和t\\&\text{假设 }\mathbf{y}=\mathbf{P}^{\frac{1}{2}}\mathbf{x}\text{,所以 }\mathbf{x}=\mathbf{P}^{-\frac{1}{2}}\mathbf{y}\mathrm{。}\\&\text{同时,}t=\mathbf{c}^T\mathbf{x}。\end{aligned}
\]
\[\begin{aligned}&\bullet\text{ 原本是 }\mathbf{x}^{T}\mathbf{P}\mathbf{x}\leq(\mathbf{c}^{T}\mathbf{x})^{2}\\&\bullet\text{ 代入后变成:}(\mathbf{P}^{-\frac{1}{2}}\mathbf{y})^{T}\mathbf{P}(\mathbf{P}^{-\frac{1}{2}}\mathbf{y})\leq t^{2}\end{aligned}
\]
由于P是半正定矩阵,它的转置为它本身,y的转置乘以y就代表y的模长(norm)就满足了上述二阶锥的定义,所以这是一个凸集。
真锥 Proper Cones: Definition and Examples
真锥其实就是你理解的完全方方正正的倒三角,但是数学上使用更加严谨的方式进行判断。
锥必须满足:它是凸集(convex),锥的顶点强行设置为原点,实心封闭区间并且向一个方向无限延伸(直线就代表有两个方向,你不能两头吃)。
例子为非负象限nonnegative orthant,半正定锥,显然两个例子完美符合真锥的条件。
最小和极小 Minimum/Minimal Elements
简单理解:最小元素就是相当于凸集上的任何点的任何元素都大于该点(左图x1),只会存在一个。
极小元素:由于合集肯定包含非常多的元素,我们无法直接明确的直接得出结论,谁比谁大;但是在某一个维度上如果是最小的,那么我们就称之为极小元素。例如右图中的x2,在沿着锥的任意方向上找不到任何一个其他元素能在“锥K定义的方向”(比如向右、向上)上打败它(即没有任何点能沿着锥的方向指向它),这就是其中一个极小元素,极小元素存在多个。
超平面分离定理 Separating Hyperplane Theorem
简单理解,如果存在两个不相交的凸集,那么你总能找到一个超平面将这两个凸集区分开。
支撑超平面:
简单理解就是求切面,但是在非凸集中,并非所有的点都能找到支撑超平面,例如我所圈的红框部分就不存在支撑超平面;但是如果是凸集中就肯定能够找到每一个边缘点的支撑超平面。