【凸优化】3 多面体，单纯形，半正定锥

1 多面体 Polyhedra

定义：多面体为一系列的（有限个）线性等式和不等式的解集：

\[\mathcal{P}=\{x|a_j^T x \leq b_j, j=1,...,m, c_j^Tx = d_j, j = 1,...,p \} \]

根据上式可看出，多面体是\(m\)个半空间和\(p\)个超平面的交集，其中\(m,n\)为非无穷的正数。
仿射集（直线、子空间、超平面）、射线、线段、半空间都是多面体，多面体是凸集。

多面体的另一种表示：

\[\mathcal{P}=\{x|Ax \preceq b, Cx = d \} \]

其中

\[A=\begin{bmatrix} a_1^T\\ ...\\ a_m^T\\ \end{bmatrix}, C=\begin{bmatrix} c_1^T\\ ...\\ c_p^T\\ \end{bmatrix} \]

其中符号\(\preceq\)表示\(\mathbb{R}^m\)空间内的向量号不等或分量不等号，例如\(u\preceq v\)表示\(u_i \leq v_i\)，\(i = 1,...,m\)。

2 单纯形 Simplexes

1）定义

定义：在\(\mathbb{R}^n\)空间中选取\(k+1\)个仿射独立(affinely independent)的点，即\(v_1 - v_0,...,v_k-v_0\)是线性无关的，则与上述点相关的单纯形为：

\[C={\rm conv}\; \{v_0,...,v_k\}=\{\theta_0 x_0+...+\theta_k x_k| \theta\succeq 0,\mathbf{1}^T\theta = 1\} \]

其中\({\rm conv}\)表示凸包，\(\mathbf{1}\)表示所有元素均为\(1\)的向量。该单纯形的仿射维数为\(k\)，称为\(k\)维单纯形。

图1. \(\mathbb{R}^2\)空间中，左：\(k=1\)，选取两个点得到的单纯形为一个线段；中：\(k=2\)，选三个点，相关的单纯形为一个三角形（包括边和阴影部分）；右：\(k=3\)，选取四个点，但是在二维空间中无法找到三个线性无关的向量（图中的任一向量可由另两个向量的线性组合得到），故在二维空间中，无法找到四个或以上的点来构成一个单纯形。

如图1，同样的可以得出：一维空间中的单纯形是线段；二维空间中的单纯形是三角形；三维空间中的单纯形为四面体。

2）证明：单纯形是多面体的一种

\(C\in\mathbb{R}^n\)为单纯形，则根据单纯形的定义可得：

\[x\in C\Leftrightarrow x=\theta_0 v_0 + ...+ \theta_k v_k,\mathbf{1}^T\theta = 1,\theta\succeq 0,v_1 - v_0,...,v_k-v_0线性无关 \tag{1} \]

为方便表示，我们定义\(y\) 和 \(B\)：

\[y=[\theta_1,...,\theta_k]^T, \;\; y\succeq 0, \;\; \mathbf{1}^T y \leq 1 \]

\[B=\begin{bmatrix} v_1-v_0 & ... & v_k-v_0 \end{bmatrix}\in \mathbb{R}^{n\times k}\]

则公式（1）可以表示为：

\[x\in C \Leftrightarrow x=v_0 + By\tag{2} \]

\(v_0, ..., v_k\)为仿射独立的，即\(v_1-v_0,...,v_k-v_0\)为线性无关的，可得\({\rm rank}(B)=k\)，\((k\leq n)\)，因此存在一个非奇异矩阵\(A=\begin{bmatrix}A_1 \\A_2\end{bmatrix}\in\mathbb{R}^{n\times n}\)使得

\[AB=\begin{bmatrix}A_1 \\A_2\end{bmatrix} B=\begin{bmatrix}I\\0\end{bmatrix},\;(I\in \mathbb{R}^{k\times k}) \]

对公式（2）左乘一个矩阵\(A\)：

\[\begin{aligned} Ax &= Av_0 + ABy\\ \begin{bmatrix}A_1 \\A_2\end{bmatrix}x &=\begin{bmatrix}A_1 \\A_2\end{bmatrix}v_0+\begin{bmatrix}I\\0\end{bmatrix}y \end{aligned} \]

即

\[\left\{\begin{matrix} A_1 x=A_1 v_0 + y\\ A_2 x=A_2 v_0 \end{matrix}\right. \]

因此\(x\in C\) 当且仅当 \(A_2 x= A_2 v_0\)且向量\(y=A_1x - A_1 v_0\)满足\(y\succeq 0, \; \mathbf{1}^T y \leq 1\)。换句话说，\(x\in C\) 当且仅当:

\[A_2 x = A_2 v_0, \;\;\; A_1 x \succeq A_1 v_0, \;\;\; \mathbf{1}^TA_1x \leq 1+ \mathbf{1}^T A_1 v_0 \]

即单纯形为两个不等式和一个等式描述的集合，这也就是多面体的定义。

3 半正定锥 The Positive Semidefinite Cone

1)定义

对称矩阵的集合 \(\textbf{S}^n\):

\[\textbf{S}^n = \{X\in \mathbb{R}^{n\times n}|X=X^T\} \]

这是一个维度为 \(n(n + 1)/2\) 的向量空间。
是凸锥，所以也是凸集。
对称半正定矩阵的集合 \(\textbf{S}^n_+\):

\[\textbf{S}^n_+ = \{X\in \textbf{S}^n|X\succeq 0\} \]

这里的符号\(\succeq\)是针对矩阵的，表示\(X\)的奇异值大于等于0。
是凸锥，所以也是凸集。
对称正定矩阵的集合 \(\textbf{S}^n_{++}\):

\[\textbf{S}^n_{++} = \{X\in \textbf{S}^n|X\succ 0\} \]

是凸集，不是凸锥。

2）证明：\(\textbf{S}^n_+\)是凸锥

即（根据凸锥的定义）任取\(\theta_1, \theta_2 \geq 0\)，\(A, B \in \textbf{S}^n_+\)，证明\(\theta_1 A+\theta_2 B\in \textbf{S}^n_+\)。
根据半正定矩阵的性质有：

\[\forall x\in \mathbb{R}^n,\; x^T A x \geq 0,\; x^T B x \geq 0 \]

因此：

\[\begin{aligned} &x^T(\theta_1 A+\theta_2 B)x\\ =&\;\theta_1x^T A x + \theta_2 x^T B x\\ \geq & \; 0 \end{aligned} \]

即\(\theta_1 A+\theta_2 B\in \textbf{S}^n_+\)，证明完毕。

3）不同空间中的特征

n=1：即一维空间中，\(\textbf{S}^1 = \textbf{R}\)（实数集）；\(\textbf{S}^1_+ = \textbf{R}_+\)（非负实数集）；\(\textbf{S}^1_{++} = \textbf{R}_{++}\)（正实数集)。
n=2：即二维空间中，如图2，我们有：

\[X = \begin{bmatrix}x & y\\ y & z\end{bmatrix}\in \textbf{S}^2_+ \Leftrightarrow x \geq 0, z \geq 0, xz \geq y^2 \]

图2. 二维空间中半正定锥的边界，在\(\mathbb{R}^3\)中绘制为 \((x, y, z)\)。