凸优化

凸优化的定义是：目标函数是凸函数，解的可行域是凸集。定义如下：
\begin{array}{l}
 \min :{f_0}(x) \\
 s.t.{f_i}(x) \le 0,i = 1,...,m \\
      {h_i}(x) = 0,i = 1,...,p \\
\end{array}

问题来了，目标函数为什么是凸的？目标函数为凸函数的优点是局部最小值就是全局最小值，但是限制集合为什么也需要凸的？我们先来看一下凸函数和凸集合的定义：

定义1：假设${x_1},{x_2} \in C$，并且$0 \le \theta  \le 1$，若$\theta {x_1} + (1 - \theta ){x_2} \in C$，则$C$是凸集。

定义2：$f$是凸函数当且仅当${x_1},{x_2} \in domf$并且$0 \le \theta  \le 1$时，我们有$f(\theta {x_1}$ $+$ $(1 - \theta ){x_2}) $ $\le \theta f(x)$ $+$ $(1 - \theta )f({x_2})$。

我们看到定义2成立的必要条件是${x_1},{x_2},\theta {x_1}+(1 - \theta ){x_2}$这三个点必须在一个集合当中才行，这正符合凸集合的定义，所以说定义1是定义2成立的必要条件。