机器学习笔记(9.1): 凸优化

可能更好的阅读体验 Jeefy's Blog: 凸优化

• 仿射集

\[\forall x_1, x_2 \in C, \forall \theta \in {\mathbb R}, \theta x_1 + (1 - \theta) x_2 \in C \]

任意仿射集可以表示为一个线性方程组的解！

• 仿射包

\[{\rm \bf aff\ } C = \{ \theta_1 x_1 + \theta_2 x_2 + \cdots + \theta_k x_k | x_i \in C, \sum_{i = 1}^k \theta_i = 1 \} \]

仿射包是最小的包含 \(C\) 的仿射集，就和 \({\rm \bf span}(S)\) 一样。

• 相对内部 \({\rm \bf relative~interior~} C\)

\[{\rm \bf relint~} C = \{x \in C | \exists r > 0, B(x, r) \cap {\rm\bf aff~} C \subseteq C \} \]

内点集是：\({\rm \bf int~} C = \{x \in C | \exists r > 0, B(x, r) \subseteq C \}\)
这里的相对内部只需要在仿射集子空间内是内点即可。
例如 \(y = x\) 这个仿射集，\({\rm\bf int~} C = \emptyset\)，而 \({\rm\bf relint~} C = C\)

• 闭包 \({\rm\bf cl~} C = {\rm\bf int~} C + {\rm\bf bd~}C = {\rm\bf relint~} C + {\rm\bf rebd~} C\)

注意闭包已经相对化了，所以没有相对闭包这一个概念。

• 凸集

\[\forall x_1, x_2 \in C, \forall \theta \in [0, 1], \theta x_1 + (1 - \theta) x_2 \in C \]

• 凸包

\[{\rm \bf conv~} C = \{ \theta_1 x_1 + \theta_2 x_2 + \cdots + \theta_k x_k | x_i \in C, \theta_i \ge 0, \sum_{i = 1}^k \theta_i = 1 \} \]

• 仿射变换（affine mapping）

\[f(x) = Ax + b \]