Duality 二元性 -
Duality 二元性
拉格朗日量 The Lagrangian
拉格朗日量是一个将目标函数与约束函数相结合的量。
为了将上述凸函数的目标函数和限制条件结合起来,定义拉格朗日函数:
\(\lambda_i\)(拉格朗日乘子):与不等式约束 \(f_i(\mathbf{x}) \le 0\) 对应(在后续对偶理论中通常要求 \(\lambda_i \ge 0\))。
\(\nu_i\)(拉格朗日乘子):与等式约束 \(h_i(\mathbf{x}) = 0\) 对应。
向量 \(\boldsymbol{\lambda}\) 和 \(\boldsymbol{\nu}\) 统称为该问题的对偶变量(dual variables)
拉格朗日函数关于 x 的最小值被称为拉格朗日对偶函数
公式 \(g(\lambda, \nu) = \inf_{\mathbf{x} \in \mathcal{D}} L(\mathbf{x}, \lambda, \nu)\) 的核心操作是:
-
视角转换:之前 \(L\) 是关于 \(\mathbf{x}, \lambda, \nu\) 的函数;现在,我们先把乘子 \((\lambda, \nu)\) 当作固定常数(即固定了约束的“惩罚力度”),只把 \(\mathbf{x}\) 当变量。
-
求下确界(inf):找出让 \(L\) 最小的那个 \(\mathbf{x}\) 对应的值。这相当于把原问题变成了一个“无约束优化”,看看最低能降到多少。
g(λ)的意义是为了找下界面,不管什么方式,求导,不等式转换都可以,只要能找到下界面就行。
这个“最低值”就只依赖于 \((\lambda, \nu)\),于是形成了新的函数 \(g(\lambda, \nu)\)。
为什么其总是凹函数?
我们把自变量锁定为 \(\boldsymbol{(\lambda,\nu)}\) ,此时 \(\mathbf{x}\) 是被固定的常数(g(x)实际上x为变量的,这里是来证明为什么是凹性的),代入 \(L\):
对变量 \((\lambda,\nu)\) 来说,所有含 \(\lambda/\nu\) 的项都是一次项(没有平方、乘积等非线性项),加一个常数,完全符合仿射(线性)函数的形式:\(A\cdot (\lambda,\nu)^T + b\) ,其中系数是 \(f_i(\mathbf{x}),h_i(\mathbf{x})\) ,截距是 \(f_0(\mathbf{x})\),全部由固定的 \(\mathbf{x}\) 决定。仿射函数(凸凹函数):把 \(L(\mathbf{x}, \lambda, \nu)\) 换个角度看,对固定的 \(\mathbf{x}\),它关于 \((\lambda, \nu)\) 是线性的(即仿射函数:\(f_0(\mathbf{x}) + \sum \lambda_i f_i(\mathbf{x}) + \sum \nu_i h_i(\mathbf{x})\))。
对偶函数 \(g(\lambda, \nu)\) 就是把所有不同的 \(\mathbf{x}\) 对应的仿射函数画出来,然后在每一个 \((\lambda, \nu)\) 点上,取这些直线(或平面)的最低值(\(\inf\))。
| 操作 | 结果形状 | 记忆口诀 |
|---|---|---|
| 一堆仿射函数取 最小值 (\(\inf\)) | 凹 | 倒扣的碗 |
| 一堆仿射函数取 最大值 (\(\sup\)) | 凸 | 碗 |
如果当拉格朗日量 L 在变量 x 上无下界时,对偶函数 g 的取值为 −∞
如果某个乘子 \((\lambda, \nu)\) 不好,拉格朗日量会随着 \(\mathbf{x}\) 的变化无限往负方向掉,没有最小值。这时候对偶函数直接给负无穷,后续求最大值时这个乘子参数会被自动排除。
对偶函数 \(g(\lambda, \nu)\) 就是固定 \(\lambda, \nu\) 后,让 \(x\) 在定义域内变化,求 \(L\) 的最小值(下确界 inf):
结论:如果 \(\lambda \succeq 0\)(每个 \(\lambda_i \ge 0\)),那么 \(g(\lambda, \nu) \le p^*\)(\(p^*\) 是原始问题的最优值)。
因为 \(\tilde{x}\) 满足不等式约束:(最开始没变形的标准形式)所以 \(f_i(\tilde{x}) \le 0\)。又因为前提规定了 \(\lambda_i \ge 0\),所以乘积 \(\lambda_i f_i(\tilde{x}) \le 0\)。
因为 \(\tilde{x}\) 满足等式约束:所以 \(h_i(\tilde{x}) = 0\),乘积 \(\nu_i h_i(\tilde{x}) = 0\)(无论 \(\nu\) 是正还是负,乘 0 都是 0)。
代入拉格朗日函数:
取最小值:对偶函数 \(g\) 是:固定乘子条件下所有的 \(x\) 中最小的,自然小于等于L;L 固定了乘子,自然小于完全自由的f0
遍历所有可行点:原始最优值 \(p^*\) 是 \(f_0(\tilde{x})\) 的最小值,所以 \(g(\lambda, \nu) \le p^*\)
只要你取\(\lambda\ge0\)(\(\nu\)任意),算出来的任意\(g(\lambda,\nu)\),都一定满足 \(g(\lambda,\nu) \le p^*\)(真实原始最优解),这意味着 g 比所有可行点的\(f_0\)都小,那它必然小于等于这些\(f_0\)里的「最小的那个」——而这个最小的\(f_0\)就是原始问题的最优值\(p^*\)。
所以后续我们是需要去找\(\lambda\ge0,\nu\),让这个下界\(g(\lambda,\nu)\)尽可能大(越大就越贴近真实的\(p^*\)),最大能达到的对偶值\(d^*\)就是\(d^*\le p^*\),两者的差就是「对偶间隙」。
标准线性规划 Standard Form LP:
它的对偶函数:
因为L 关于 x 是仿射的。因此,我们有
对偶函数 \(g(\lambda, \nu) = \inf_x L\)。既然 \(L\) 是关于 \(x\) 的一次函数,我们令它的系数为 \(k^T = c^T + \nu^T A - \lambda^T\),那么 \(L = k^T x - b^T \nu\)。
情况一、系数为0,那么结果就直接等于常数项。
情况二、系数不为0:
有效定义域(不为 \(-\infty\) 的地方)是 \(c^T + \nu^T A - \lambda^T = 0\)(结合 \(\lambda \ge 0\) 即 \(A^T \nu \le c\)),这是一个仿射集(线性空间平移)。
在这个定义域上 下界的性质,\(g = -b^T \nu\),关于 \((\lambda, \nu)\) 是线性的,后续就非常简单了
等式约束下的范数最小化:
由于没有不等式约束条件,λ项可以省略,此时有:
最终汇总如下:
双向划分问题:
其中W为权重矩阵(nxn的实对称矩阵,非凸)
那么有:
令其计算后等效为A矩阵,A矩阵肯定也是对称实矩阵最后结果:
diag():对角矩阵乘向量
权重矩阵A有如下性质:
拉格朗日对偶问题 The Lagrange Dual Problem
从拉格朗日对偶函数中求得 p 的最佳下界,称为原问题的拉格朗日对偶问题。
顶部标题下方文字点明了本质:我们之前通过拉格朗日函数对原变量求极小,得到了对偶函数 g(λ,ν),它给出了原问题最优值 p 的一个下界,寻找这个“寻找最佳下界”的过程,就被称为拉格朗日对偶问题。
数学定义:
λ代表不等式约束个数,在最开始的标准式子内一共有m个不等式;v代表等式约束个数,在最开始的标准式子内一共有p个不等式。
\(d^*\):代表对偶问题的最优值。既然是最大化“最佳下界”,最优值就是 \(d^*\)。根据弱对偶性,始终有 \(p^* \ge d^*\)(\(p^*\) 是原问题最优值)。
- 显式约束:\(\lambda \succeq 0\)(不等式约束的乘子必须非负,对应你上一轮问的 \(\mathbb{R}^m\) 里的分量)。
- 隐式约束:\((\lambda, \nu) \in \text{dom}(g)\),即乘子必须让对偶函数 \(g\) 有定义。比如上一轮推导的 \(\mathbf{W}+\text{diag}(\nu) \succeq 0\),那就是为了让 \(g(\nu)\) 存在,这属于隐式约束(可以理解为一个新的必须满足的有效定义域)。
弱对偶性:\(d^* \le p^*\)
强对偶性:\(d^* = p^*\)
- 非普适:一般问题(非凸)通常不成立。
- 凸问题:通常成立,但需额外条件。但凸性不自动保证强对偶。
斯莱特约束条件 Slater’s Constraint Qualification
凸问题成立的额外条件就是Slater‘s constraint qualification,它说明了凸问题什么时候强对偶(\(d^* = p^*\))成立”的问题。
Slater 条件(严格可行)
- 定义:如果存在一点 \(\mathbf{x}\) 满足:
- 在定义域相对内部:\(\mathbf{x} \in \text{relint}(\mathcal{D})\)(不卡在边界上)。
- 不等式严格小于:\(f_i(\mathbf{x}) < 0\)(注意是 \(<0\),不是 \(\le 0\))。
- 等式精确满足:\(\mathbf{Ax}=\mathbf{b}\)。
- 直观:问题不仅“可行”(满足边界),还“严格可行”(不等式约束留有余量)。
- 结论:满足此条件,凸问题强对偶成立(\(d^* = p^*\)),且若 \(p^* > -\infty\),对偶最优解能真正取到(不仅是上确界)。
只要存在一个点不贴边界(严格可行),那么对偶问题一定能找到最优解,且这个最优值 = 原问题的最优值(但是不保证原问题有最优值,例如如果最优解是负无穷,那就不存在最优解了)
例子:
在 \(y>0\) 时,\(x^2/y \le 0\) 实际上强制 \(x=0\)(因为 \(x^2 \ge 0\))。
原问题最优值 \(p^*\):当 \(x=0\) 时,目标函数 \(e^{-0} = 1\)。所以 \(p^* = 1\)。
但是如果我们用拉格拉斯函数:
-
拉格朗日:\(L(x, \lambda) = e^{-x} + \lambda x^2/y\)。
-
对偶函数:\(g(\lambda) = \inf_{y>0, x} \{e^{-x} + \lambda x^2/y\}\)。
-
当 \(\lambda \ge 0\) 时,通过让 \(y \to \infty\)(此时 \(x^2/y \to 0\)),目标趋于 \(e^{-x}\),再取 \(x \to \infty\) 或特定路径( \(x^2=\sqrt{y}\)),下确界为 0。
-
当 \(\lambda < 0\) 时,项 \(\lambda x^2/y\) 可趋于 \(-\infty\),故 \(g(\lambda) = -\infty\)。
对偶最优值 \(d^*\):最大化 \(g(\lambda)\) 得到 \(d^* = 0\)。
对偶间隙:\(p^* - d^* = 1 - 0 = 1\)。强对偶失效(间隙不为0),但弱对偶(\(0 \le 1\))依然成立。
- Slater 要求:存在点严格满足 \(x^2/y < 0\) 且 \(y>0\)。
- 现实:在 \(y>0\) 时,\(x^2/y\) 永远 \(\ge 0\)。要满足 \(\le 0\) 只能恰好等于 0(即 \(x=0\))。
- 结论:没有“严格可行”的余量(只能贴边界),Slater 条件不成立。这正是导致 \(d^* \neq p^*\) 的根本原因。
线性规划中的不等式问题:
求其对偶函数及对偶问题。
对偶函数(最开始已经算过一遍了)为:
对偶问题:
Slater 条件:对于一般凸优化,若存在严格可行解 \(\tilde{\mathbf{x}}\) 使得 \(\mathbf{A}\tilde{\mathbf{x}} \prec \mathbf{b}\)(去掉等于符号),则强对偶性成立,即原问题最优值 \(p^*\) 等于对偶问题最优值 \(d^*\)。
线性规划的特殊性:由于此处所有约束都是仿射(线性)的,Slater 条件可弱化——只要原问题或对偶问题有一个是可行的,通常直接就有 \(p^* = d^*\)。例外情况:仅当原问题和对偶问题同时不可行时,强对偶性才不成立(此时无有限最优解)。这对应了“sharpened conditions”(约束规范的弱化)。
例子:
Find its Lagrangian;Find its Lagrange dual function;Find its Lagrange dual problem;Does the strong duality hold?
拉格朗日函数:
拉格朗日对偶函数:
\(L(x, \lambda) = x^2 + 1 + \lambda(x-2)(x-4)\)
展开约束项:\((x-2)(x-4) = x^2 - 6x + 8\)
所以 \(L(x, \lambda) = (1+\lambda)x^2 - 6\lambda x + (1+8\lambda)\)。
求导后有:$$\frac{d}{dx} L(x, \lambda) = 2(1+\lambda)x - 6\lambda = 0$$
解得使得 \(L\) 最小的 \(x\) 为:\(x = \frac{3\lambda}{1+\lambda}\)
找到这个“最坏的 \(x\)”后,再把它代回原式,就能得到一个只包含 \(\lambda\) 的表达式(也就是去除了 \(x\) 之后的下确界 \(g(\lambda)\))。
\(g(\lambda) = (1+\lambda)\left(\frac{3\lambda}{1+\lambda}\right)^2 - 6\lambda\left(\frac{3\lambda}{1+\lambda}\right) + 1 + 8\lambda\)
\(g(\lambda) = -\frac{9\lambda^2}{\lambda+1} + 1 + 8\lambda\),此时任意的λ大于0,均为其下界面。
其拉格朗日对偶问题 Its Lagrange dual problem:
As there are feasible points satisfying the strict inequality, the strong duality holds.
由于存在满足严格不等式的可行点(存在λ不等于0,仍然满足不等式的解),故强对偶性成立。
互补松弛性 Complementary Slackness
前提是强对偶成立,即原最优值\(p^*\) = 对偶最优值\(d^*\)
不等式约束 \(f_i(x)≤0\),且对偶乘子 \(\lambda_i^*≥0\),所以 \(\sum \lambda_i^* f_i(x^*) ≤0\)
等式约束 \(h_i(x)=0\),所以 \(\sum \nu_i^* h_i(x^*) =0\) ,由于第二项整体≤0,代入后整体 ≤ \(f_0(x^*)+0 = f_0(x^*)\)
推导之后,我们发现f0小于等于f0,这也就意味着,中间式子全部其实为等号,中间项λi和fi(x)其中必定有一项为0。
这也代表了:我们算出来λ不为0后,我们可以直接令fi(x)=0 从而反解出x。
次优性/最优性证明 Certificate of Suboptimality/Optimality
回想一下,对于任意原始可行点 x 和对偶可行点 (λ, ν),均有:
对偶间隙(Duality Gap):
-
对任何原可行点 \(\mathbf{x}\)(满足约束)和对偶可行点 \((\boldsymbol{\lambda}, \boldsymbol{\nu})\),对偶函数永远是原目标的下界,即 \(f_0(\mathbf{x}) \ge g(\boldsymbol{\lambda}, \boldsymbol{\nu})\)。
-
它俩的差值 \(G = f_0(\mathbf{x}) - g(\boldsymbol{\lambda}, \boldsymbol{\nu})\) 就叫对偶间隙。它永远 \(\ge 0\)。
-
如果 \(\gamma = 0\),说明上下界完全贴合,你找到的 \(\mathbf{x}\) 和 \((\boldsymbol{\lambda}, \boldsymbol{\nu})\) 就是最优的(强对偶)
-
如果 \(\gamma > 0\)(弱对偶,有间隙),说明你当前的 \(\mathbf{x}\) 可能还没到最优,这个间隙就是次优性证明(Suboptimality Certificate)
停止判定:随便找个可行 \(\mathbf{x}\) 和可行 \((\boldsymbol{\lambda}, \boldsymbol{\nu})\),只要算出来 \(f_0(\mathbf{x}) - g(\boldsymbol{\lambda}, \boldsymbol{\nu})\) 足够小(比如 < 0.001),我们就认定:这个 \(\mathbf{x}\) 已经非常接近最优了,不用继续计算。
KKT条件 Karush-Kuhn-Tucker Conditions for Optimality
在强对偶成立、函数可微的前提下,这4条是求解带约束优化问题最优解的必要条件(对常见凸问题,它也是充分条件(充分且必要),这就意味着凸优化问题满足这4条就是最优解)。
原可行性(Primal feasibility)
- 公式:\(f_i(x^*) \le 0\),\(h_i(x^*) = 0\)
- 意思:解 \(x^*\) 必须满足所有约束。(这是废话)
2. 对偶可行性(Dual feasibility)
- 公式:\(\lambda_i^* \ge 0\)
- 意思:不等式约束的乘子必须非负。这是对偶问题本身的要求(保证拉格朗日函数里惩罚项方向正确)。
3. 互补松弛(Complementary slackness)
- 公式:\(\lambda_i^* f_i(x^*) = 0\)
- 意思: 约束不卡住(\(f_i < 0\))则乘子为0;乘子不为0则约束必卡住(\(f_i = 0\))。
4. 平稳性(Stationarity)
- 公式:\(\nabla f_0(x^*) + \sum \lambda_i^* \nabla f_i(x^*) + \sum \nu_i^* \nabla h_i(x^*) = 0\)
- 意思:拉格朗日函数对 \(x\) 的梯度为0。相当于无约束优化的“导数为0”,只不过这里把目标函数和所有约束的梯度加权抵消了。
- 结合互补松弛:那些没激活的约束(\(\lambda_i^*=0\))在平稳性里直接消失,只剩激活的约束和你一起“平衡”目标函数的梯度。
它要求整体梯度为零,那就意味着找不到任何可以继续优化的方向。
KKT条件其实就是对于前文必须满足的所有关系的总结。
Water-Filling Example
注水问题:
目标函数:\(\min -\sum \log(x_i + \alpha_i)\)。负号加对数,本质是最大化 \(\sum \log(x_i + \alpha_i)\)。在通信中,这代表最大化信道容量;在数学上,这是一个典型的凸优化问题。
约束条件:
- \(x \ge 0\):分配的资源 \(x_i\) 必须非负(对应图中的“地面高度”限制)。
- \(1^T x = 1\):所有资源总和为 1(总水量/总功率固定为 1)。
- \(\alpha_i > 0\):初始的“地面高度”或噪声水平。
KKT 条件的套用:
因为这是一个凸问题,满足 KKT 条件就是全局最优的充要条件。图中直接列出了推导出的 KKT 核心方程:
- 原始可行:\(x \ge 0, 1^T x = 1\)。
- 对偶可行与互补松弛:\(\lambda_i \ge 0, \lambda_i x_i = 0\)(不触底则无惩罚,触底则资源为0)。
- 平稳性:\(-\frac{1}{x_i + \alpha_i} - \lambda_i + \nu = 0\)。这是对目标函数和约束求梯度得到的(\(-\frac{1}{x_i+\alpha_i}\) 是目标梯度,\(\nu\) 是等式乘子,\(\lambda_i\) 是不等式乘子)。
\(x_i >0\),λi肯定就等于0,代入式子中得:
\(x_i=0\),λi肯定大于等于0,此时:
所以 \(\nu -1/\alpha_i \ge0 \implies \boldsymbol{\nu \ge 1/\alpha_i}\)
把两种情况合并,\(x_i\)可以写成统一的分段形式:
再代入总和约束 \(\sum_{i=1}^n x_i =1\):
水深就是 \(x_i = \text{水面总高度} - \text{地面高度} = \frac{1}{\nu}-\alpha_i\)
例子,使用KKT条件计算出下列式子的最优解:
最小化 \(f(x)=x^2+1\)(开口向上的抛物线,无约束最小值在\(x=0\),值为1)
约束:\((x-2)(x-4)\le0\) → 解为 \(2\le x\le4\),无约束最优\(x=0\)不在可行域里,所以最优解一定在可行域边界/内部。
约束写为 \(g(x)=(x-2)(x-4)\le0\),引入对偶乘子\(\lambda\ge0\)
\(g(x)=x^2-6x+8\),对\(x\)求导得梯度:\(g'(x)=2x-6\)
- 平稳性:\(\frac{d\mathcal{L}}{dx}=2x + \lambda(2x-6)=0\) (目标导数 + λ*约束导数 =0)
- 互补松弛:\(\lambda\cdot g(x)=\lambda(x-2)(x-4)=0\)
- 原始可行+对偶可行:\((x-2)(x-4)\le0,\ \lambda\ge0\)
\(\lambda=0\)(约束不生效)
代入平稳性:\(2x=0→x=0\),但\(x=0\)不满足\(2\le x\le4\),排除。
\(\lambda≠0\) → 由互补松弛,\(g(x)=0\) → \(x=2\)或\(x=4\)
- 试\(x=4\):代入平稳性 \(2 * 4 + \lambda*(8-6)=8+2\lambda=0 → \lambda=-4\),违反\(\lambda\ge0\),排除。
- 试\(x=2\):代入平稳性 \(2 * 2 + \lambda*(4-6)=4-2\lambda=0 → \lambda=2\),满足\(\lambda\ge0\),且在可行域内。
最优解 \(x^*=2\),最优值 \(p^*=2^2+1=5\),对应乘子\(\lambda^*=2\)。
例子2,使用KKT条件计算出下列式子的最优解:
等式约束 \(Gx=h\),引入乘子 \(\nu\),拉格朗日函数:
展开平方(注意 \(\|Ax-b\|^2 = (Ax-b)^T(Ax-b) = x^TA^TAx - 2b^TAx + b^Tb\)):
KKT的核心:对 \(x\) 求导=0(平稳性)+ 约束满足:
对 \(x\) 求导(矩阵求导规则:\(x^TMx \to 2Mx\),\(c^Tx \to c\)):
从 \(2A^TAx - 2A^Tb + G^T\nu = 0\) 移项:
假设 \(A^TA\) 可逆,左乘 \((A^TA)^{-1}\):
\(x\) 代入约束 \(Gx=h\):
等式约束的标准维度约定,完全由「约束的数量」决定的:
我们的目标是求\(x\),首先约定\(x\)是\(n\)维向量(也就是 \(n\times1\),列向量,这是变量本身的维度)。机器学习/优化惯例:通常默认 \(x\) 是列向量,为了凑出点积等于标量,拉格朗日乘子默认也写成列向量,所以前面必须带转置 \(\nu^T\)。在标准的机器学习/数值优化惯例(Numerator Layout / 分母布局)下,所有的未知数和变量都默认竖着写(列向量)。
如果有 \(m\) 个等式约束,每个约束的形式都是:\(g_i(x) = G_{i,}x = h_i\),也就是每个约束用一个长度为\(n\)的行向量(和\(x\)长度相同才能点积算结果)乘\(x\)得到一个标量等于\(h\)的第\(i\)个元素。\(m\)个这样的行拼起来,自然就是 \(m\times n\) 的矩阵\(G\);\(m\)个约束的右端项\(h_i\)拼起来就是 \(m\times1\) 的向量\(h\)。
变量\(x=(x_1,x_2,x_3)\),是3维(\(n=3\)),有2个等式约束:
那么\(G\)就是2行3列(\(m=2\)个约束,\(n=3\)个变量)h就是2行1列:
\(\nu\)对应\(m\)个约束 → \(\nu\)本身是 \(m\times1\)(每个约束一个标量乘子)
拉格朗日函数最终必须是单个标量,所以v取转置。
\(\nabla_x A^T x = A\)
\(A\)是常数矩阵,\(A^T x\)结果是列向量,实际是向量对向量求导,结果为矩阵:展开\(A^Tx = \sum_{i=1}^n A_{i,j}x_j\),对\(x\)求导结果就是矩阵\(A\)。
\(\nabla_x x^T A = A^T\)
\(x^T A = \sum_j x_j A_{j,i}\),对\(x_k\)求导得\(A_{k,i}\),拼起来就是\(A^T\)。如果\(A\)是列向量\(a\),则\(x^T a = a^Tx\),梯度就是\(a\)
\(x^T A x = \sum_i\sum_j A_{ij}x_i x_j\)
对\(x_k\)求偏导:
- 只有\(i=k\)的项:\(\sum_j A_{kj}x_j\)
- 只有\(j=k\)的项:\(\sum_i A_{ik}x_i\)
加起来就是:\((A x)_k + (A^T x)_k\),所以整体就是\((A+A^T)x\)。

浙公网安备 33010602011771号