拉格朗日对偶性

 首先，考虑标准形式的凸最优化问题：

则其拉格朗日函数为：

其中$\lambda_i$被称为与$f_i(x) <= 0$相关的拉格朗日乘子,$\lambda_i >= 0$，$v_i$被称为与$h_i(x) = 0$相关的拉格朗日乘子。

拉格朗日对偶函数：

下面介绍拉格朗日对偶函数的一个重要性质：

拉格朗日对偶函数构成了原凸最优化问题最优解$p^*$的下界，即对任意的$\lambda >= 0$ 和$\nu$,我们有：

但是当$g(\lambda, v) = -\infty$时，其意义不大。只有当$g(\lambda, v) > -\infty$时，对偶函数才能给出$p^*$的一个非平凡下界，我们称满足$\lambda >= 0$ 以及

$(\lambda, v)\in domg$ 的$(\lambda, v)$是对偶可行的。

从Lagrange函数能够得到的最好下界是什么？也即：

上述问题被称为Lagrange对偶问题。前面描述的对偶可行的一组$(\lambda, v)$就是对偶问题的一个可行解。如果解$(\lambda^*, v^*)$是对偶问题的最优解，则称解

$(\lambda^*, v^*)$是对偶最优解或者最优lagrange乘子。

Lagrange对偶问题是一个凸优化问题，因为极大化的目标函数是凹函数，且约束集合是凸集。因此，对偶问题的凸性和原问题是否是凸优化问题无关。

弱对偶性

用$d^*$表示lagrange对偶问题的最优解，由上面的性质可得下面的不等式：

即使原问题不是凸问题上述不等式也成立，这个性质称为弱对偶性。

定义差值$p^* - d^*$是原问题的最优对偶间隙。它给出了原问题最优值以及通过Lagrange对偶函数所能得到的最好（最大）下界之间的差值。最优对偶间隙总是非负的。

但原问题很难求解时，弱对偶不等式可以给出原问题最优值的一个下界，这是因为对偶问题总是凸问题，而且在很多情况下都可以进行有效的求解得到$d^*$

如果 $d^* = p^*$成立，即最优对偶间隙为零，那么强对偶性成立。

如果原问题是凸问题，可以表述为：

 

使得强对偶性成立的一个简单的约束准则是Slater条件：存在一点x使得下式成立：

满足上述条件称为严格可行，这是因为不等式约束严格成立。

若Slater条件满足，不但对于凸问题强对偶性成立，也意味着当$d^* > -infty$时对偶问题能够取得最优值，即存在一组对偶可行解$(\lambda^*, v^*)$，使得

$g(\lambda^*, v^*) = d^* = p^*$

互补松弛性  => 强对偶性成立时，可推出KKT的对偶互补条件（不是很懂，先不管）

设原问题和对偶问题的最优值都可以达到且相等（即强对偶性成立）。令$x^*$是原问题的最优解，$(\lambda^*, v^*)$是对偶问题的最优解，这表明：

由上面的推导可以得出一个重要的结论：

实际上，求和项的每一项都非正，因此有：

上述条件称为互补松弛性，它对任意原问题最优解$x^*$都成立（当强对偶性成立时）。

 

 

 

 

http://legend4917.github.io/2015/12/17/%E6%8B%89%E6%A0%BC%E6%9C%97%E6%97%A5%E5%AF%B9%E5%81%B6%E6%80%A7/