Lagrange对偶（1）

　　对偶规划源自于对策论中的零和对策。它最早应用于线性规划，后来被推广到非线性规划。现已成为包括组合优化问题在内的最优化理论研究的重要工具。

　　利用对偶可将一个约束优化问题转化成另一个约束优化问题并建立两问题解之间的某种联系，进而揭示原规划问题最优解的存在性等理论，如对偶规划不但可以给出原规划问题最优值的一个下界，而且在特殊情况下可得到原规划问题的最优值。同时，基于对偶规划还可建立原规划问题的对偶类算法。可以说，原规划问题及其对偶如同太极图中的阴和阳，它们之间既互相对立又相互依赖，构成一个和谐、对称的辩证统一体。

　　对约束优化问题（7.2.2）

记由不等式约束组成的向量值函数为G(x)，由等式约束组成的向量值函数记为H(x)，定义Lagrange函数

　　根据定义，若（x^*,u^*,v^*）为Lagrange函数的鞍点，其中u^*≥0，则对于任意的，有

　　也就是说，鞍点是Lagrange函数关于的全局最小值点，又是关于 u ≥ 0 和 v 的全局极大值点。由此得到两个特殊的极值问题

　　对于后者，由于

　　故后一个极值问题就是原优化问题，即

　　对于前者，引入极值函数

　　便得到下面的优化问题

　　该问题称为约束优化问题（7.2.2）的Lagrange对偶规划。

　　考虑到Lagrange函数关于 x 和 (u,v) 的极值未必达到，故有时将 min , max 分别用 inf , sup 替代。