约束最优化问题

约束最优化问题

对于无约束的最优化问题，\(\underset{\boldsymbol{x}}{{\rm min}}f_0(\boldsymbol{x})\)，通常只需将目标函数对\(\boldsymbol{x}\)求梯度，然后令梯度等于0，即可得到一系列极值，从中取出最小的那个就是原无约束最优化问题的解。当存在约束时，约束问题可以表示为：

\[\underset{\boldsymbol{x}}{{\rm min}}f_0(\boldsymbol{x}) \quad s.t. \quad f_i(\boldsymbol{x}) \leq 0,i=1,2,...,m\quad h_j(\boldsymbol{x})=0,j=1,2,...,p\tag{1} \]

此时没有办法像无约束问题那样，直接对目标函数求梯度，因为梯度等于0的点不一定能够满足约束条件。此时通常可以利用拉格朗日函数将原约束优化问题转化为无约束优化问题，具体地，(1)所示的约束优化问题对应的拉格朗日函数可以表示为

\[L(\boldsymbol{x},\boldsymbol{\lambda},\boldsymbol{v})=f_0(\boldsymbol{x})+\sum_{i=1}^m \lambda_i f_i(\boldsymbol{x})+\sum_{j=1}^p v_j h_j(\boldsymbol{x})=f_0(\boldsymbol{x})+\boldsymbol{\lambda}^T \boldsymbol{f}(\boldsymbol{x})+\boldsymbol{v}^T \boldsymbol{h}(\boldsymbol{x})\tag{2} \]

此时只需要将\(L(\boldsymbol{x},\boldsymbol{\lambda},\boldsymbol{v})\)对各个自变量求导，并令倒数为0，即可求得\(L(\boldsymbol{x},\boldsymbol{\lambda},\boldsymbol{v})\)的最优解，现在需要理解的是为什么拉格朗日函数的解与原约束优化问题的解是一致的，具体原因可以参考《深入理解拉格朗日乘子法》。

显然利用上面的拉格朗日乘子法可以很好地求解约束优化问题，但是在实际处理过程中，可能存在一些问题，比如拉格朗日很复杂，不好求导，比如拉格朗日函数有可能不是凸函数，所以在实际处理过程中也经常需要求原始拉格朗日函数的对偶函数，借助对偶函数来求解原始优化问题，以下来说明一下拉格朗日对偶函数到底是什么，它又有什么用？

对(2)以拉格朗日乘子\(\boldsymbol{\boldsymbol{\lambda}}、\boldsymbol{\boldsymbol{v}}\)作为优化变量，则有

\[\underset{\boldsymbol{\lambda}\geq 0,\boldsymbol{v}}{{\rm max}}L(\boldsymbol{x},\boldsymbol{\lambda},\boldsymbol{v})=f_0(\boldsymbol{x})+\underset{\boldsymbol{\lambda}\geq 0,\boldsymbol{v}}{{\rm max}}[\sum_{i=1}^m \lambda_i f_i(\boldsymbol{x})+\sum_{j=1}^p v_j h_j(\boldsymbol{x})]=f_0(\boldsymbol{x})+\underset{\boldsymbol{\lambda}\geq 0,\boldsymbol{v}}{{\rm max}}[\boldsymbol{\lambda}^T \boldsymbol{f}(\boldsymbol{x})+\boldsymbol{v}^T \boldsymbol{h}(\boldsymbol{x})]\tag{3} \]

由约束条件可知\(\sum_{j=1}^p v_j h_j(\boldsymbol{x})=0,\sum_{i=1}^m \lambda_i f_i(\boldsymbol{x})\leq 0\),所以\(\underset{\boldsymbol{\lambda}\geq 0,\boldsymbol{v}}{{\rm max}}L(\boldsymbol{x},\boldsymbol{\lambda},\boldsymbol{v})\leq f_0(\boldsymbol{x})\)，所以\(\underset{\boldsymbol{x}}{{\rm min}}[\underset{\boldsymbol{\lambda}\geq 0,\boldsymbol{v}}{{\rm max}}L(\boldsymbol{x},\boldsymbol{\lambda},\boldsymbol{v})]=\underset{\boldsymbol{\lambda}\geq 0,\boldsymbol{v}}{{\rm max}}[\underset{\boldsymbol{x}}{{\rm min}}L(\boldsymbol{x},\boldsymbol{\lambda},\boldsymbol{v})] \leq \underset{\boldsymbol{x}}{{\rm min}}f_0(\boldsymbol{x})\)。令\(g(\boldsymbol{\lambda},\boldsymbol{v})=\underset{\boldsymbol{x}}{{\rm min}}L(\boldsymbol{x},\boldsymbol{\lambda},\boldsymbol{v})\)，则\(g(\boldsymbol{\lambda},\boldsymbol{v})\)即为拉格朗日函数的对偶函数，显然它可以通过将拉格朗日函数对\(\boldsymbol{x}\)求导，求得最优\(\boldsymbol{x}^*\)，然后将其代入拉格朗日函数中即可得到。显然它是一族关于\((\boldsymbol{\lambda},\boldsymbol{v})\)的仿射函数的逐点下确界，因此即使原问题不是凸的，对偶函数也会是凹函数。所以原优化问题转化为如下对偶优化问题

\[{\rm max}g(\boldsymbol{\lambda},\boldsymbol{v}),\quad s.t. \boldsymbol{\lambda}\rightY 0 \tag{4} \]

由于拉格朗日对偶函数是凹函数，所以拉格朗日对偶问题是凸优化问题。设\(\boldsymbol{x}^*\)为原问题的最优解，则有\(g(\boldsymbol{\lambda},\boldsymbol{v})\leq \boldsymbol{x}^*\)，即拉格朗日对偶函数构造成了原问题最优解的下界。设\(\boldsymbol{d}^*\)为对偶问题的最优解，则\(\boldsymbol{d}^* \leq \boldsymbol{x}^*\)是始终成立的，这个性质称为弱对偶性，而如果\(\boldsymbol{d}^* = \boldsymbol{x}^*\)成立，则称强对偶性成立，如果原问题是一个凸优化问题，则通常强对偶性是成立的。若原优化问题不是凸优化问题，则有很多其他强对偶性成立的约束准则，这边不进行过多介绍。可以参考《凸优化（八）——Lagrange对偶问题》