凸优化

定义

线性组合（linear combination）：设 \(x_1,x_2,\cdots,x_n\in C\)，\(\lambda_1,\lambda_2,\cdots,\lambda_n\in \mathbb{R}\)，将 \(\lambda_1x_1+\lambda_2x_2+\cdots+\lambda_nx_n\) 称之为线性组合。

线性无关定义为 \(\forall x\in C\)，不能被 \(C\) 中其他元素的线性组合所表示。

对应地，线性相关可以定义为，存在不全为 \(0\) 的 \(\lambda_1,\lambda_2,\cdots,\lambda_n\in \mathbb{R}\)，使得 \(\lambda_1x_1+\lambda_2x_2+\cdots+\lambda_nx_n=0\)。

对于 \(\mathbb{R}^n\) 下 \(m\) 个线性无关组合所张成的空间，在 \(m<n\) 时张成 \(\mathbb{R}^n\) 的 \(m\) 维子空间，\(m=n\) 时张成整个 \(\mathbb{R}^n\) 空间。

仿射集（affine set）：\(\forall x_1,x_2\in C\)，\(\lambda\in \mathbb{R}\)，有 \(\lambda x_1+(1-\lambda)x_2\in C\)。

对于任意点 \(x_1,x_2\in C\)，若连接 \(x_1,x_2\) 的直线也在 \(C\) 内，则称集合 \(C\) 是一个仿射集。

直线是一个仿射集，线段则不是。

\(C\) 中包含了 \(C\) 内任意两点的仿射组合。

仿射组合（affine combination）：设 \(x_1,x_2,\cdots,x_n\in C\)，\(\lambda_1,\lambda_2,\cdots,\lambda_n\in \mathbb{R}\) 且满足 \(\lambda_1+\lambda_2+\cdots+\lambda_n=1\)，将 \(\lambda_1x_1+\lambda_2x_2+\cdots+\lambda_nx_n\) 称之为仿射组合。

若 \(C\) 是一个仿射集，则仿射组合 \(\lambda_1x_1+\lambda_2x_2+\cdots+\lambda_nx_n\in C\)。

仿射无关定义为 \(\forall x\in C\)，不能被 \(C\) 中其他元素的仿射组合所表示。

对应地，仿射相关可以定义为，存在不全为 \(0\) 的 \(\lambda_1,\lambda_2,\cdots,\lambda_n\in \mathbb{R}\) 且 \(\lambda_1+\lambda_2+\cdots+\lambda_n=0\)，使得 \(\lambda_1x_1+\lambda_2x_2+\cdots+\lambda_nx_n=0\)。

对于 \(\mathbb{R}^n\) 下 \(m\) 个仿射无关组合所张成的空间，在 \(m\le n\) 时张成 \(\mathbb{R}^n\) 的 \(m-1\) 维子空间的平移（有可能不过原点），特别地，当 \(m=n\) 时张成超平面，\(m=n+1\) 时张成整个 \(\mathbb{R}^n\) 空间。

仿射包（affine hull）：\(C\subseteq \mathbb{R}^n\) 中所有点的仿射组合的集合为 \(C\) 的仿射包，记作 \(\text{aff}(C)\)。

\(\text{aff}(C)=\{\lambda_1x_1+\lambda_2x_2+\cdots+\lambda_nx_n \mid x_1,x_2,\cdots,x_n\in C,\lambda_i\in \mathbb{R},\lambda_1+\lambda_2+\cdots+\lambda_n=1\}\)。

对于任意集合 \(A\)，增加最少的元素使 \(A\) 变成一个仿射集 \(B\)，则仿射集 \(B\) 是 \(A\) 的仿射包。

比如线段的仿射包是包含这条线段的直线，平面多边形的仿射包是包含该多边形的整个平面。

仿射集的仿射包是其本身。

凸集（convex set）：\(\forall x_1,x_2\in C,\lambda\in [0,1]\)，有 \(\lambda x_1+(1-\lambda)x_2\in C\)。

对于任意点 \(x_1,x_2\in C\)，若连接 \(x_1,x_2\) 的直线段也在 \(C\) 内，则称集合 \(C\) 是一个凸集。

线段是一个凸集，仿射集都是凸集。

凸集也可以是无限的点集。

凸组合（convex combination）：设 \(x_1,x_2,\cdots,x_n\in C\)，\(\lambda_1,\lambda_2,\cdots,\lambda_n\ge 0\) 且满足 \(\lambda_1+\lambda_2+\cdots+\lambda_n=1\)，将 \(\lambda_1x_1+\lambda_2x_2+\cdots+\lambda_nx_n\) 称之为凸组合。

若 \(C\) 是一个凸集，则凸组合 \(\lambda_1x_1+\lambda_2x_2+\cdots+\lambda_nx_n\in C\)。

凸无关定义为 \(\forall x\in C\)，不能被 \(C\) 中其他元素的凸组合所表示。

对应地，凸相关可以定义为，存在不全为 \(0\) 的 \(\lambda_1,\lambda_2,\cdots,\lambda_n \in \mathbb{R}\) 满足有且仅有一个 \(\lambda_i<0\) 且 \(\lambda_1+\lambda_2+\cdots+\lambda_n=0\)，使得 \(\lambda_1x_1+\lambda_2x_2+\cdots+\lambda_nx_n=0\)。

\(\mathbb{R}^n\) 下 \(m\) 个凸无关组合张成一个凸多面体。

凸包（convex hull）：\(C\subseteq \mathbb{R}^n\) 中所有点的凸组合的集合为 \(C\) 的凸包，记作 \(\text{conv}(C)\)。

\(\text{conv}(C)=\{\lambda_1x_1+\lambda_2x_2+\cdots+\lambda_nx_n \mid x_1,x_2,\cdots,x_n\in C,\lambda_i\ge 0,\lambda_1+\lambda_2+\cdots+\lambda_n=1\}\)。

对于任意集合 \(A\)，增加最少的元素使 \(A\) 变成一个凸集 \(B\)，则凸集 \(B\) 是 \(A\) 的凸包。

比如两个点的凸包是连接两点的直线段，五角星的凸包是五边形。

凸集的凸包是其本身。

ref.

Lauer：【凸优化笔记1】- 仿射集、凸集和锥 - 知乎

记得小蘋初见：线性组合？仿射组合？凸组合？ - 知乎

凸优化学习笔记(一) | Ashun's Blog