凸优化【2 常见凸集合】
几种重要的凸集
一个点的集合
仅含一个点的集合一定是仿射集、凸集。如果这个点恰好是原点，那么这个集合也是凸锥。
空集
空集是仿射集也是凸集，同时也是凸锥。
\(R^n\)的空间
\(R^n\)的空间是仿射集、凸集、凸锥。
\(R^n\)空间的子空间
是仿射集、凸集、凸锥。
任意直线
是仿射集、凸集。如果这条直线经过原点，那么他也是凸锥
任意线段
是凸集。如果这条直线经过原点，那么它也是凸锥。
\(\{x_0 + \theta v | \theta \geq 0\}\)
- 该集合是凸集
- 如果\(v=0\)，那么该集合也是仿射集
- 如果\(v=0, x_0=0\),那么该集合同时还是凸锥。
超平面和半空间
- 超平面的定义：\[\{x|a^T x = b | x,a \in R^n , b \in R, a\not = 0\} \]
当\(n=1\)的时候，超平面就是表示一条直线。你可能以为超平面就会是一个平面，其实不然，直线也是一个超平面。
- 超平面是仿射集和凸集。如果超平面经过原点，那么它也是凸锥。
- 而超平面划开的两个区间就叫做超平面。
球和椭圆（欧式空间）
- 球的定义
\[B(x_c, r)=\{x|\ ||x-x_c||_2 \leq r\} = \{x| \sqrt{(x-x_c)^T(x-x_c)} \leq r \}
\]
- 球是一个凸集
证明一下：
\[\forall x_1, x_2 \in B
\]
\[||x_1 - x_c||_2 \leq r, \ ||x_2 - x_c||\leq r
\]
则\(\forall 0 \leq \theta \leq 1\)
\[\begin{aligned}
&\ \ \ \ \ ||\theta x_1 + (1-\theta)x_2 - x_c|| \leq r \\
& =||\theta(x_1 - x_c) + (1-\theta)(x_2 - x_c)||_2 \\
& \leq ||\theta (x_1 - x_c)|| + ||(1-\theta)(x_2 - x_c)|| \\
& = \theta ||x_1 - x_2|| + (1-\theta)||x_2 - x_c|| \\
& \leq r
\end{aligned}
\]
- 椭圆的定义
\[\epsilon(x_c,P) = \{x|(x-x_c)^TP^{-1}(x-x_c) \leq 1\}
\]
其中\(x_c \in R^n, \ P \in S_{++}^n\)
多面体
\[P=\begin{Bmatrix}
x | \begin{aligned}
& a_j^T x \leq b_j, j=1,...,m \\
& c_j^T x = d_j, j=1,...n
\end{aligned}
\end{Bmatrix}
\]
单纯形 Simplex
\(R^n\)空间中选择\(v_0,...,v_k\)共\(k+1\)个点，\(v_1-v_0, ..., v_k - v_0\)线性无关（\(k \leq n\)），则上述点相关的单纯形为：
\[C = Conv\{v_0,...,v_k\} = \begin{Bmatrix}
\theta_0 v_0 + ... + \theta_k v_k \\
\theta_0,...,\theta_k \geq 0 , \ \theta_1 + ...+\theta_k = 1
\end{Bmatrix}
\]
- 单纯形是一个多面体
证明：
\(x\in C \in R^n\), \(C\)为Simplex \(\leftrightarrow\) \(x=\theta_0 v_0 + ... + \theta_k v_k | \boldsymbol{1^T \theta}=1,\boldsymbol{\theta}\geq 0\)且\(v_1-v_0,...,v_k-v_0\)线性无关
定义：
\[\begin{bmatrix}
\theta_1,...,\theta_k
\end{bmatrix}^T = y, y \geq 0, \boldsymbol{1}^T y \leq 1
\]
\[[v_1 - v_0, ..., v_k - v_0] = B \in R^{n \times k}
\]
其 \(x\in C\)等价于
\[\begin{aligned}
x &= \theta_0 v_0 + ... + \theta_k v_k \\
&= v_0 + \theta_1 (v_1 - v_0) + ... + \theta_k(v_k - v_0) \\
&= v_0 + By
\end{aligned}
\]
其中\(B\)中的元素线性无关，故：
\[rank(B) = k, (k \leq n)
\]
存在非奇异矩阵\(A= \begin{bmatrix} A_1 \\ A_2 \end{bmatrix} \in k^{m \times n}\),使得：
\[AB = \begin{bmatrix}
A_1 \\
A_2
\end{bmatrix}B = \begin{bmatrix}
I_k \\
0
\end{bmatrix}\]
所以\(x=v_0 + By\)等价于
\[\begin{aligned}
Ax &= Av_0 + ABy \\
\begin{bmatrix}
A_1 \\
A_2
\end{bmatrix}x &= \begin{bmatrix}
A_1 \\
A_2
\end{bmatrix}v_0 + \begin{bmatrix}
A_1 B \\
A_2 B
\end{bmatrix}y
\end{aligned}\\
\]
\[\Leftrightarrow
\left\{
\begin{aligned}
A_1 x &= A_1 v_0 +y \\
A_2 x &= A_2 v_0
\end{aligned}
\right.
\]
\[\Leftrightarrow
\left\{
\begin{aligned}
A_1 x &\geq A_1 v_0 \\
\boldsymbol{1}^TA_1x &\leq 1 + \boldsymbol{1}^TA_1v_0 \\
A_2 x &= A_2 v_0
\end{aligned}
\right.
\]
其他
- 对称矩阵集合 \(S^n = \{x \in R^{n \times n} | x = x^T\}\), 凸锥。
- 对称半正定集合 \(S^n_{+}=\{x\in R^{n \times n}| x=x^T, x \succeq 0\}\)，凸锥。
- 对称正定集合 \(S^n_{++}=\{x \in R^{n \times n} | x=x^T, x \succ 0\}\)
