对偶

基本术语

优化问题

 拉格朗日函数

 相对于λ而言（假如x和v已经确定），那么此函数相对于λ来说是线性的，同理关于v也是线性函数

拉格朗日对偶函数

 关于λ和v的函数，在x的域中，找到是的L最小的参数

λ，v：拉格朗日乘子

性质

1.对偶函数为凹函数

解释：如果对函数L求极大，则关于λ和v是凸的（因为关于λ和v是分段线性的函数），反之如果对其求极小，则为凹函数

2.

 解释：对偶函数的函数值一定小于等于原问题的最优值，原问题最优值的下界

证明：设是原问题最优解，则

当有

对于任意的λ，v，g(λ，v)一定是的下界，对g(λ，v)求极大可以得到最好的下界

由于g(λ，v)是一个凹函数，极大化g(λ，v)，同时加上线性约束，是一个凸问题

例子：

 拉格朗日函数

 对偶函数

 求g(V)的一阶偏导得到

 将求出的X带回g(V)求解最小值

 由于为半正定矩阵，前面带有负号为半正定矩阵，所以g(V)为凹函数

例子：

 拉格朗日函数

 对偶函数

 函数的共轭与对偶函数之间的关系：

函数共轭定义

 例子：

 拉格朗日函数

 对偶函数

 对偶问题性质

1.对偶问题和原问题

 2.最优拉格朗日乘子

 例子1：

 对偶函数

 最大化g(λ，v)，如果λ，v有可能使得成立，取值一定为，否则取值为负无穷

如果问题的取值为负无穷的话是没有意义的，所以去掉负无穷，只关心实质意义的内容，写成如下对偶问题形式

 化简上式得到

 例子2：

 拉格朗日函数

 对偶函数

 化简为对偶问题

 观察例子1和例子2，例子1的原问题和例子2的对偶问题一致，例子中原问题的对偶问题的对偶问题仍为其自身