带约束的最优化和拉格朗日乘子法

参考

1. 对于一个带约束的最优化问题，我们可以记作，其中f(x)为优化目标，g(x)为约束目标，此处只写出一个，当约束有多个或者不是不是小于等于关系时，可以简单地进行转换 $$ min_xf(x),{\text { subject to }} g(x) \leq 0 $$
   这个就是我们的原始问题
2. 对于上面的最优化问题，引入拉格朗日乘子，令$$ L(x, \lambda) = f(x) + {\lambda}g(x) $$
3. 易知，$ max_{\lambda\geq0}L(x, \lambda) = \text { if } g(x) \leq 0\ f(x); \text { else } +\infty $
4. 所以原问题即 $ p^* = min_xmax_{\lambda\geq0}L(x, \lambda) $，（若要在根据x最小化上式，g(x)必须满足约束条件，否则上式是正无穷）
5. 引入一个新的问题 $ f(x) < v ,{\text { subject to }} g(x) \leq 0 $
6. 易知，若5中问题有解，则$ L(x, \lambda) < v, \lambda \geq 0 $ 有解，则逆否命题成立，若6中问题无解，则5中问题也无解，此时v是原问题的一个下界
7. 6中问题无解等价于$ v \leq min_xL(x, \lambda) $，此时v是原问题下界
8. 在最优化问题中要找到最大下界，即对偶问题 $ v^* = max_{\lambda\geq0}min_xL(x, \lambda) $
9. 有 $ v^* \leq p^* $ (宁为凤尾不为鸡头，当f(x)和g(x)均是凸函数且约束集合是凸集时等号成立，此时称为强对偶条件)，则我们可以通过求对偶问题来求解原问题，此时不再有约束条件，且由于对偶问题外层的最大化问题是关于lambda的仿射，较为容易求解
10. 9的一般化证明