最优化基础（四）

最优化基础（四）^[1]

凸集与凸函数

定义: 设集合\(D\subset \mathbb{R}^n\). 称集合\(D\)为凸集, 是指对任意的\(x,y\in D\)及任意的实数\(\lambda \in[0,1]\), 都有\(\lambda x+(1-\lambda)y\in D\).

定义: 集合\(D\subset \mathbb{R}^n\) 的凸包(convex hull) 是指所有包含\(D\) 的凸集的交集，记为

\[\mathrm{conv}(D):=\underset{C\supseteq D}{\cap}C \]

其中\(C\)为凸集

定义: 设非空集合\(C\subset\mathbb{R}^n\). 若对任意的\(x\in C\) 和任意的实数\(\lambda >0\)，有\(\lambda x\in C\), 则称\(C\) 为一个锥(cone). 若\(C\) 同时也是凸集, 则称\(C\)为一个凸锥(convex cone). 此外, 对于锥\(C\), 若\(0\in C\), 则称\(C\) 是一个尖锥(pointed cone). 相应地, 包含0 的凸锥称为尖凸锥.****

定义:设函数\(f:D\subset\mathbb{R}^n\rightarrow\mathbb{R}\), 其中\(D\) 为凸集.

(1) 称\(f\) 是\(D\)上的凸函数, 是指对任意的\(x,y\in D\)及任意的实数\(\lambda \in[0,1]\), 都有

\[f(\lambda x+(1-\lambda)y) \leq \lambda f(x)+(1-\lambda)f(y) \]

(2) 称\(f\)是\(D\)上的严格凸函数, 是指对任意的\(x,y\in D, x\neq y\)及任意的实数\(\lambda \in[0,1]\), 都有

\[f(\lambda x+(1-\lambda)y) < \lambda f(x)+(1-\lambda)f(y) \]

(3) 称\(f\)是\(D\) 上的一致凸函数, 是指存在常数\(\gamma >0\), 使对任意的\(x,y\in D\) 及任意的实数\(\lambda\in[0,1]\), 都有

\[f(\lambda x+(1-\lambda)y) +\frac{1}{2}\lambda(1-\lambda)\gamma\|x-y\|^2 \leq \lambda f(x)+(1-\lambda)f(y) \]

定理: 设\(f\) 在凸集\(D\subset \mathbb{R}^n\) 上一阶连续可微，则

(1) \(f\)在\(D\)上为凸函数的充要条件是

\[f(x)\geq f(x^*)+\nabla f(x^*)^T(x-x^*),\quad \forall x^*,x\in D \]

(2) \(f\)在\(D\)上为严格凸函数的充要条件是，当\(x\neq y\)时，成立

\[f(x) > f(x^*)+\nabla f(x^*)^T(x-x^*),\quad \forall x^*,x\in D \]

(3) \(f\)在\(D\)上一致凸的充要条件是,存在常数\(c>0\)，使对任意的\(x^*,x\in D\)，成立

\[f(x)\geq f(x^*)+\nabla f(x^*)^T(x-x^*)+c\|x-x^*\|^2 \]

定义: 设\(n\)元实函数\(f\) 在凸集\(D\)上是二阶连续可微的. 若对一切\(h\in\mathbb{R}^n\), 有\(h^T\nabla^2f(x)h \geq 0\)，则称\(\nabla^2f\) 在点\(x\)处是半正定的. 若对一切\(0\neq h\in\mathbb{R}^n\), 有\(h^T\nabla^2f(x)h > 0\)，则称\(\nabla^2f\) 在点\(x\)处是正定的. 进一步，若存在常数\(c>0\), 使得对任意的\(h\in\mathbb{R}^n,x\in D\), 有\(h^T\nabla^2f(x)h \geq c\|h\|^2\)，则称\(\nabla ^2f\) 在\(D\) 上是一致正定的.****

定理:设\(n\) 元实函数\(f\) 在凸集\(D\subset\mathbb{R}^n\)上二阶连续可微, 则
(1) \(f\) 在\(D\)上是凸的充要条件是\(\nabla^2f(x)\) 对一切\(x\in D\)为半正定；
(2) \(f\)在\(D\) 上是严格凸的充分条件是\(\nabla^2f(x)\) 对一切\(x\in D\) 为正定；
(3) \(f\) 在\(D\) 上是一致凸的充要条件是\(\nabla^2f(x)\) 对一切\(x\in D\) 为一致正定.

注意，\(\nabla^2f\) 正定是\(f\) 严格凸的充分条件而非必要条件.

---

1. 马昌凤. 最优化方法及其Matlab程序设计[M]. 科学出版社, 2010. ↩︎