Duality 二元性 -

Duality 二元性

拉格朗日量 The Lagrangian

拉格朗日量是一个将目标函数与约束函数相结合的量。

\[\begin{aligned}\min.\quad&\quad f_{0}(\mathbf{x})\\\mathrm{s.t.}\quad&\quad f_{i}(\mathbf{x})\leq0,i=1,\cdots,m.,\quad&h_{i}(\mathbf{x})=0,i=1,\cdots,p.\end{aligned} \]

\[\mathrm{with~}\mathbf{x}\in\mathbb{R}^n\mathrm{,domain~}\mathcal{D}=\bigcap_{k=0}^m\mathrm{dom(f_k)}\cap\bigcap_{k=1}^m\mathrm{dom(h_k)}. \]

为了将上述凸函数的目标函数和限制条件结合起来,定义拉格朗日函数:

\[L(\mathbf{x},\boldsymbol{\lambda},\boldsymbol{\nu})=f_0(\mathbf{x})+\sum_{i=1}^m\lambda_if_i(\mathbf{x})+\sum_{i=1}^p\nu_ih_i(\mathbf{x}) \]

\[\text{它是一个从 }\mathbb{R}^n\times\mathbb{R}^m\times\mathbb{R}^p\to\mathbb{R}\text{ 的映射。}本质上,它是目标函数与约束函数的加权和 \]

\(\lambda_i\)(拉格朗日乘子):与不等式约束 \(f_i(\mathbf{x}) \le 0\) 对应(在后续对偶理论中通常要求 \(\lambda_i \ge 0\))。

\(\nu_i\)(拉格朗日乘子):与等式约束 \(h_i(\mathbf{x}) = 0\) 对应。

向量 \(\boldsymbol{\lambda}\) 和 \(\boldsymbol{\nu}\) 统称为该问题的对偶变量(dual variables)

拉格朗日函数关于 x 的最小值被称为拉格朗日对偶函数


\[\text{The Lagrange dual function g}:\mathbb{R}^m\times\mathbb{R}^p\to\mathbb{R}\text{ is defined as:}g(\lambda,\nu)=\inf_{\mathbf{x}\in\mathcal{D}}L(\mathbf{x},\lambda,\nu)=\inf_{\mathbf{x}\in\mathcal{D}}\left\{f_0(\mathbf{x})+\sum_{i=1}^m\lambda_if_i(\mathbf{x})+\sum_{i=1}^p\nu_ih_i(\mathbf{x})\right\} \]

公式 \(g(\lambda, \nu) = \inf_{\mathbf{x} \in \mathcal{D}} L(\mathbf{x}, \lambda, \nu)\) 的核心操作是:

  • 视角转换:之前 \(L\) 是关于 \(\mathbf{x}, \lambda, \nu\) 的函数;现在,我们先把乘子 \((\lambda, \nu)\) 当作固定常数(即固定了约束的“惩罚力度”),只把 \(\mathbf{x}\) 当变量。

  • 求下确界(inf):找出让 \(L\) 最小的那个 \(\mathbf{x}\) 对应的值。这相当于把原问题变成了一个“无约束优化”,看看最低能降到多少。

    g(λ)的意义是为了找下界面,不管什么方式,求导,不等式转换都可以,只要能找到下界面就行。

这个“最低值”就只依赖于 \((\lambda, \nu)\),于是形成了新的函数 \(g(\lambda, \nu)\)。


为什么其总是凹函数?

我们把自变量锁定为 \(\boldsymbol{(\lambda,\nu)}\) ,此时 \(\mathbf{x}\) 是被固定的常数(g(x)实际上x为变量的,这里是来证明为什么是凹性的),代入 \(L\):

\[L(\mathbf{x},\lambda,\nu)=\underbrace{f_0(\mathbf{x})}_\text{常数项}+\underbrace{\left(\sum_{i=1}^mf_i(\mathbf{x})\cdot\lambda_i\right)}_{\text{关于}\lambda\text{的一次项}}+\underbrace{\left(\sum_{i=1}^ph_i(\mathbf{x})\cdot\nu_i\right)}_{\text{关于}\nu\text{的一次项}} \]

对变量 \((\lambda,\nu)\) 来说,所有含 \(\lambda/\nu\) 的项都是一次项(没有平方、乘积等非线性项),加一个常数,完全符合仿射(线性)函数的形式:\(A\cdot (\lambda,\nu)^T + b\) ,其中系数是 \(f_i(\mathbf{x}),h_i(\mathbf{x})\) ,截距是 \(f_0(\mathbf{x})\),全部由固定的 \(\mathbf{x}\) 决定。仿射函数(凸凹函数):把 \(L(\mathbf{x}, \lambda, \nu)\) 换个角度看,对固定的 \(\mathbf{x}\),它关于 \((\lambda, \nu)\) 是线性的(即仿射函数:\(f_0(\mathbf{x}) + \sum \lambda_i f_i(\mathbf{x}) + \sum \nu_i h_i(\mathbf{x})\))。

对偶函数 \(g(\lambda, \nu)\) 就是把所有不同的 \(\mathbf{x}\) 对应的仿射函数画出来,然后在每一个 \((\lambda, \nu)\) 点上,取这些直线(或平面)的最低值(\(\inf\))。

操作 结果形状 记忆口诀
一堆仿射函数取 最小值 (\(\inf\)) 凹 倒扣的碗
一堆仿射函数取 最大值 (\(\sup\)) 凸 碗

如果当拉格朗日量 L 在变量 x 上无下界时,对偶函数 g 的取值为 −∞

如果某个乘子 \((\lambda, \nu)\) 不好,拉格朗日量会随着 \(\mathbf{x}\) 的变化无限往负方向掉,没有最小值。这时候对偶函数直接给负无穷,后续求最大值时这个乘子参数会被自动排除。

对偶函数 \(g(\lambda, \nu)\) 就是固定 \(\lambda, \nu\) 后,让 \(x\) 在定义域内变化,求 \(L\) 的最小值(下确界 inf):

\[g(\lambda,\nu)=\inf_{\mathbf{x}\in\mathcal{D}}L(\mathbf{x},\lambda,\nu)=\inf_{\mathbf{x}\in\mathcal{D}}\left\{f_0(\mathbf{x})+\sum_{i=1}^m\lambda_if_i(\mathbf{x})+\sum_{i=1}^p\nu_ih_i(\mathbf{x})\right\} \]

结论:如果 \(\lambda \succeq 0\)(每个 \(\lambda_i \ge 0\)),那么 \(g(\lambda, \nu) \le p^*\)(\(p^*\) 是原始问题的最优值)。

因为 \(\tilde{x}\) 满足不等式约束:(最开始没变形的标准形式)所以 \(f_i(\tilde{x}) \le 0\)。又因为前提规定了 \(\lambda_i \ge 0\),所以乘积 \(\lambda_i f_i(\tilde{x}) \le 0\)。

因为 \(\tilde{x}\) 满足等式约束:所以 \(h_i(\tilde{x}) = 0\),乘积 \(\nu_i h_i(\tilde{x}) = 0\)(无论 \(\nu\) 是正还是负,乘 0 都是 0)。

代入拉格朗日函数:

\[L(\tilde{x},\lambda,\nu)=f_0(\tilde{x})+(\leq0)+0\leq f_0(\tilde{x}) \]

取最小值:对偶函数 \(g\) 是:固定乘子条件下所有的 \(x\) 中最小的,自然小于等于L;L 固定了乘子,自然小于完全自由的f0

\[g(\lambda,\nu)=\inf L(x)\leq L(\tilde{x},\lambda,\nu)\leq f_0(\tilde{x}) \]

\[L(\mathbf{x},\lambda,\nu)=f_0(\mathbf{x})+\sum_{i=1}^m\lambda_if_i(\mathbf{x})+\sum_{i=1}^p\nu_ih_i(\mathbf{x}),λi为正数,所以L(x)肯定大于f0(x)这里也能得出结论 \]

遍历所有可行点:原始最优值 \(p^*\) 是 \(f_0(\tilde{x})\) 的最小值,所以 \(g(\lambda, \nu) \le p^*\)

只要你取\(\lambda\ge0\)(\(\nu\)任意),算出来的任意\(g(\lambda,\nu)\),都一定满足 \(g(\lambda,\nu) \le p^*\)(真实原始最优解),这意味着 g 比所有可行点的\(f_0\)都小,那它必然小于等于这些\(f_0\)里的「最小的那个」——而这个最小的\(f_0\)就是原始问题的最优值\(p^*\)。

所以后续我们是需要去找\(\lambda\ge0,\nu\),让这个下界\(g(\lambda,\nu)\)尽可能大(越大就越贴近真实的\(p^*\)),最大能达到的对偶值\(d^*\)就是\(d^*\le p^*\),两者的差就是「对偶间隙」。


标准线性规划 Standard Form LP:

\[\begin{aligned}\min.\quad&\quad\mathbf{c}^{T}\mathbf{x}\\\mathrm{s.t.}\quad&\quad\mathbf{A}\mathbf{x}=\mathbf{b},\mathbf{x}\succeq\mathbf{0}\end{aligned} \]

它的对偶函数:

\[\begin{aligned}L(\mathbf{x},\boldsymbol{\lambda},\boldsymbol{\nu})&=\quad\mathbf{c}^{T}\mathbf{x}-\boldsymbol{\lambda}^{T}\mathbf{x}+\boldsymbol{\nu}^{T}(\mathbf{A}\mathbf{x}-\mathbf{b})\\&=\quad(\mathbf{c}^{T}+\boldsymbol{\nu}^{T}\mathbf{A}-\boldsymbol{\lambda}^{T})\mathbf{x}-\mathbf{b}^{T}\boldsymbol{\nu}\end{aligned} \]

因为L 关于 x 是仿射的。因此,我们有

\[g(\boldsymbol{\lambda},\boldsymbol{\nu})=\inf_{\mathbf{x}\in\mathcal{D}}L(\mathbf{x},\boldsymbol{\lambda},\boldsymbol{\nu})=\left\{\begin{array}{ll}-\mathbf{b}^T\boldsymbol{\nu},&\mathbf{c}^T+\boldsymbol{\nu}^T\mathbf{A}-\boldsymbol{\lambda}^T=0\\-\infty,&\mathrm{otherwise}\end{array}\right. \]

对偶函数 \(g(\lambda, \nu) = \inf_x L\)。既然 \(L\) 是关于 \(x\) 的一次函数,我们令它的系数为 \(k^T = c^T + \nu^T A - \lambda^T\),那么 \(L = k^T x - b^T \nu\)。

情况一、系数为0,那么结果就直接等于常数项。

情况二、系数不为0:

\[k^T\neq0,此时令x为正无穷,如果k^T小于0,该项就为负无穷了 \]

有效定义域(不为 \(-\infty\) 的地方)是 \(c^T + \nu^T A - \lambda^T = 0\)(结合 \(\lambda \ge 0\) 即 \(A^T \nu \le c\)),这是一个仿射集(线性空间平移)。

在这个定义域上 下界的性质,\(g = -b^T \nu\),关于 \((\lambda, \nu)\) 是线性的,后续就非常简单了


等式约束下的范数最小化:

\[\begin{aligned}\min.&\quad&||\mathbf{x}||_{2}\\\mathrm{s.t.}&\quad&\mathbf{A}\mathbf{x}=\mathbf{b}\end{aligned} \]

由于没有不等式约束条件,λ项可以省略,此时有:

\[g(\boldsymbol{\nu})=\inf_{\mathbf{x}}\left\{\|\mathbf{x}\|_2+\boldsymbol{\nu}^T(\mathbf{b}-\mathbf{A}\mathbf{x})\right\}=\mathbf{b}^T\boldsymbol{\nu}+\inf_{\mathbf{x}}\left\{\|\mathbf{x}\|_2-(\mathbf{A}^T\boldsymbol{\nu})^T\mathbf{x}\right\} \]

\[因为\mathbf{a}^T\mathbf{x}=\|\mathbf{a}\|\|\mathbf{x}\|\cos\theta,所以\mathbf{a}^T\mathbf{x}\leq\|\mathbf{a}\|\|\mathbf{x}\|,(\sum x_iy_i)^2\leq\sum x_i^2\sum y_i^2 \]

\[原式:\inf_\mathbf{x}\{\|\mathbf{x}\|_2-\boldsymbol{\nu}^T\mathbf{A}\mathbf{x}\}\geq\inf_\mathbf{x}\{\|\mathbf{x}\|_2-\|\mathbf{A}^T\boldsymbol{\nu}\|_2\|\mathbf{x}\|_2\}=\inf_\mathbf{x}\{\|\mathbf{x}\|_2(1-\|\mathbf{A}^T\boldsymbol{\nu}\|_2)\} \]

\[现在就可以进行讨论了,\text{如果 }\|\mathbf{A}^T\boldsymbol{\nu}\|_2>1\text{:系数 }(1-\|\mathbf{A}^T\boldsymbol{\nu}\|_2)\text{ 是负数;}如果其小于1,那么该项就为正数,x最小肯定为0。 \]

最终汇总如下:

\[g(\boldsymbol{\nu})=\begin{cases}\mathbf{b}^T\boldsymbol{\nu},&\|\mathbf{A}^T\boldsymbol{\nu}\|_2\leq1\\-\infty,&\mathrm{otherwise}&\end{cases},p^*\geq\mathbf{b}^T\boldsymbol{\nu}\quad(\text{只要 }\|\mathbf{A}^T\boldsymbol{\nu}\|_2\leq1) \]


双向划分问题:

\[\begin{aligned}\min.\quad&\quad\mathbf{x}^{T}\mathbf{W}\mathbf{x}\\\mathrm{s.t.}\quad&\quad x_{i}^{2}=1,i=1,\cdots,n\end{aligned} \]

其中W为权重矩阵(nxn的实对称矩阵,非凸)

那么有:

\[\left.g(\nu)=\inf_{\mathbf{x}}\left\{\mathbf{x}^T\mathbf{W}\mathbf{x}+\sum_{i=1}^n\nu_i(x_i^2-1)\right\}=\inf_{\mathbf{x}}\left\{\mathbf{x}^T(\mathbf{W}+\operatorname{diag}(\nu))\mathbf{x}-\mathbf{1}^T\boldsymbol{\nu})\right\}\\=\left\{\begin{array}{ll}-\mathbf{1}^T\boldsymbol{\nu},&\mathbf{W}+\operatorname{diag}(\boldsymbol{\nu})\succeq\mathbf{0}\\-\infty,&\mathrm{otherwise}\end{array}\right.\right. \]

\[\begin{aligned}\bullet&\mathbf{W}\text{ 是 }n\times n\text{ 方阵(二次型里的矩阵默认是n阶方阵)}\\\bullet&\operatorname{diag}(\nu)\text{是对角矩阵:把长度为n的向量}\nu=[\nu_{1},\nu_{2}...\nu_{n}]^{T}\text{ 放到主对角线上,其余元素全为0,也是标准的 }n\times n\text{ 方阵}:\end{aligned} \]

令其计算后等效为A矩阵,A矩阵肯定也是对称实矩阵最后结果:

\[\textbf{Lower bound property: }p^*\geq-\mathbf{1}^T\boldsymbol{\nu}\mathrm{~if~}\mathbf{W}+\mathrm{diag}(\boldsymbol{\nu})\succeq\mathbf{0}, \]


diag():对角矩阵乘向量

\[\mathrm{diag}(\nu)=\begin{bmatrix}\nu_1&0&0\\0&\nu_2&0\\0&0&\nu_3\end{bmatrix} \]

\[\text{设 }\mathbf{x}=\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix},\begin{bmatrix}\nu_1&0&0\\0&\nu_2&0\\0&0&\nu_3\end{bmatrix}\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix}=\begin{bmatrix}\nu_1x_1\\\nu_2x_2\\\nu_3x_3\end{bmatrix} \]

\[\begin{bmatrix}x_1&x_2&x_3\end{bmatrix}\begin{bmatrix}\nu_1x_1\\\nu_2x_2\\\nu_3x_3\end{bmatrix}=x_1(\nu_1x_1)+x_2(\nu_2x_2)+x_3(\nu_3x_3)\\=\nu_1x_1^2+\nu_2x_2^2+\nu_3x_3^2 \]

\[\text{这其实就是}\sum_{i=1}^n\nu_ix_i^2的简洁表达 \]


权重矩阵A有如下性质:

\[\mathbf{A}\in\mathbb{S}^n,\min_\mathbf{x}\mathbf{x}^T\mathbf{A}\mathbf{x}=\begin{cases}0,&\mathrm{if}\mathbf{A}\succeq0\text{(正半定)}\\-\infty,&\mathrm{otherwise}&\end{cases} \]

\[\text{因为 }\mathbf{A}\text{ 是实对称矩阵,它有一组正交的特征向量 }\mathbf{q}_1,\mathbf{q}_2,\ldots,\mathbf{q}_n\text{,对应的特征值是 }\lambda_1,\lambda_2,\ldots,\lambda_n\mathrm{。} \]

\[\mathbf{x}=c_1\mathbf{q}_1+c_2\mathbf{q}_2+\cdots+c_n\mathbf{q}_n \]

\[\text{利用特征向量的性质 }\mathbf{A}\mathbf{q}_{i}=\lambda_{i}\mathbf{q}_{i}\text{,且 }\mathbf{q}_{i}^{T}\mathbf{q}_{j}=0\mathrm{~}(i\neq j)\mathrm{~,}\mathbf{q}_{i}^{T}\mathbf{q}_{i}=1\mathrm{~:} \]

\[\begin{aligned}\mathbf{x}^{T}\mathbf{Ax}&=(c_1\mathbf{q}_1^T+\cdots+c_n\mathbf{q}_n^T)\mathbf{A}(c_1\mathbf{q}_1+\cdots+c_n\mathbf{q}_n)\\&=(c_1\mathbf{q}_1^T+\cdots+c_n\mathbf{q}_n^T)(c_1\lambda_1\mathbf{q}_1+\cdots+c_n\lambda_n\mathbf{q}_n)\\&=c_{1}^{2}\lambda_{1}+c_{2}^{2}\lambda_{2}+\cdots+c_{n}^{2}\lambda_{n}\\&\mathbf{x}^T\mathbf{A}\mathbf{x}=\sum_{i=1}^n\lambda_ic_i^2\end{aligned} \]

\[\text{如果: }\mathbf{A}\succeq0\text{(所有特征值 }\lambda_i\geq0\mathrm{)}\text{此时每一项 }\lambda_ic_i^2\geq0\text{,所以总和}\geq0\mathrm{。} \]

\[如果A特征值有一项小于0,那么λ小于0,无约束二次型的极小值就是-∞ \]


拉格朗日对偶问题 The Lagrange Dual Problem

从拉格朗日对偶函数中求得 p 的最佳下界,称为原问题的拉格朗日对偶问题。

顶部标题下方文字点明了本质:我们之前通过拉格朗日函数对原变量求极小,得到了对偶函数 g(λ,ν),它给出了原问题最优值 p 的一个下界,寻找这个“寻找最佳下界”的过程,就被称为拉格朗日对偶问题。

数学定义:

\[\begin{aligned}\max.&\quad g(\lambda,\nu)\\\mathrm{s.t.}&\quad\lambda\succeq0\end{aligned} \]

\[\lambda\in\mathbb{R}^m\mathrm{~and~}\nu\in\mathbb{R}^p. \]

λ代表不等式约束个数,在最开始的标准式子内一共有m个不等式;v代表等式约束个数,在最开始的标准式子内一共有p个不等式。

\[\mathbb{R}^m\text{ 和 }\mathbb{R}^p\text{ 就是在标注乘子向量的长度,告诉你 }\lambda\text{ 有几个分量、}\nu\text{ 有几个分量,对应原问题里各有几个约束。} \]

\(d^*\):代表对偶问题的最优值。既然是最大化“最佳下界”,最优值就是 \(d^*\)。根据弱对偶性,始终有 \(p^* \ge d^*\)(\(p^*\) 是原问题最优值)。

  • 显式约束:\(\lambda \succeq 0\)(不等式约束的乘子必须非负,对应你上一轮问的 \(\mathbb{R}^m\) 里的分量)。
  • 隐式约束:\((\lambda, \nu) \in \text{dom}(g)\),即乘子必须让对偶函数 \(g\) 有定义。比如上一轮推导的 \(\mathbf{W}+\text{diag}(\nu) \succeq 0\),那就是为了让 \(g(\nu)\) 存在,这属于隐式约束(可以理解为一个新的必须满足的有效定义域)。

弱对偶性:\(d^* \le p^*\)

强对偶性:\(d^* = p^*\)

  • 非普适:一般问题(非凸)通常不成立。
  • 凸问题:通常成立,但需额外条件。但凸性不自动保证强对偶。

斯莱特约束条件 Slater’s Constraint Qualification

凸问题成立的额外条件就是Slater‘s constraint qualification,它说明了凸问题什么时候强对偶(\(d^* = p^*\))成立”的问题。

Slater 条件(严格可行)

  • 定义:如果存在一点 \(\mathbf{x}\) 满足:
    • 在定义域相对内部:\(\mathbf{x} \in \text{relint}(\mathcal{D})\)(不卡在边界上)。
    • 不等式严格小于:\(f_i(\mathbf{x}) < 0\)(注意是 \(<0\),不是 \(\le 0\))。
    • 等式精确满足:\(\mathbf{Ax}=\mathbf{b}\)。
  • 直观:问题不仅“可行”(满足边界),还“严格可行”(不等式约束留有余量)。
  • 结论:满足此条件,凸问题强对偶成立(\(d^* = p^*\)),且若 \(p^* > -\infty\),对偶最优解能真正取到(不仅是上确界)。

只要存在一个点不贴边界(严格可行),那么对偶问题一定能找到最优解,且这个最优值 = 原问题的最优值(但是不保证原问题有最优值,例如如果最优解是负无穷,那就不存在最优解了)

例子:

\[\begin{aligned}\min.&\quad&e^{-x}\\\mathrm{s.t.}&\quad&x^{2}/y\leq0\end{aligned},\text{with domain }\mathcal{D}=\{x,y:y>0\} \]

在 \(y>0\) 时,\(x^2/y \le 0\) 实际上强制 \(x=0\)(因为 \(x^2 \ge 0\))。

原问题最优值 \(p^*\):当 \(x=0\) 时,目标函数 \(e^{-0} = 1\)。所以 \(p^* = 1\)。

但是如果我们用拉格拉斯函数:

  • 拉格朗日:\(L(x, \lambda) = e^{-x} + \lambda x^2/y\)。

  • 对偶函数:\(g(\lambda) = \inf_{y>0, x} \{e^{-x} + \lambda x^2/y\}\)。

  • 当 \(\lambda \ge 0\) 时,通过让 \(y \to \infty\)(此时 \(x^2/y \to 0\)),目标趋于 \(e^{-x}\),再取 \(x \to \infty\) 或特定路径( \(x^2=\sqrt{y}\)),下确界为 0。

  • 当 \(\lambda < 0\) 时,项 \(\lambda x^2/y\) 可趋于 \(-\infty\),故 \(g(\lambda) = -\infty\)。

对偶最优值 \(d^*\):最大化 \(g(\lambda)\) 得到 \(d^* = 0\)。

对偶间隙:\(p^* - d^* = 1 - 0 = 1\)。强对偶失效(间隙不为0),但弱对偶(\(0 \le 1\))依然成立。

  • Slater 要求:存在点严格满足 \(x^2/y < 0\) 且 \(y>0\)。
  • 现实:在 \(y>0\) 时,\(x^2/y\) 永远 \(\ge 0\)。要满足 \(\le 0\) 只能恰好等于 0(即 \(x=0\))。
  • 结论:没有“严格可行”的余量(只能贴边界),Slater 条件不成立。这正是导致 \(d^* \neq p^*\) 的根本原因。

线性规划中的不等式问题:

\[\begin{aligned}&\textsf{Primal problem:}&&\min.&&\mathbf{c}^{T}\mathbf{x}\\&&\mathrm{s.t.}&&\mathsf{Ax}\preceq\mathsf{b}\end{aligned} \]

求其对偶函数及对偶问题。

对偶函数(最开始已经算过一遍了)为:

\[\left.g(\lambda)=\inf_{\mathbf{x}}\{(\mathbf{c}^T+\lambda^T\mathbf{A})\mathbf{x}-\lambda^T\mathbf{b}\}=\left\{\begin{array}{ll}-\lambda^T\mathbf{b},&\mathbf{c}^T+\lambda^T\mathbf{A}=0\\-\infty,&\mathrm{otherwise}\end{array}\right.\right. \]

对偶问题:

\[\begin{aligned}\mathrm{max.}&&-\mathbf{b}^{T}\mathbf{\lambda}\\\mathrm{s.t.}&&\mathbf{c}+\mathbf{A}^{T}\mathbf{\lambda}=0,\mathbf{\lambda}\succeq\mathbf{0}\end{aligned} \]

Slater 条件:对于一般凸优化,若存在严格可行解 \(\tilde{\mathbf{x}}\) 使得 \(\mathbf{A}\tilde{\mathbf{x}} \prec \mathbf{b}\)(去掉等于符号),则强对偶性成立,即原问题最优值 \(p^*\) 等于对偶问题最优值 \(d^*\)。

线性规划的特殊性:由于此处所有约束都是仿射(线性)的,Slater 条件可弱化——只要原问题或对偶问题有一个是可行的,通常直接就有 \(p^* = d^*\)。例外情况:仅当原问题和对偶问题同时不可行时,强对偶性才不成立(此时无有限最优解)。这对应了“sharpened conditions”(约束规范的弱化)。


例子:

\[\begin{aligned}\min.\quad&\quad x^{2}+1\\\mathrm{s.t.}\quad&\quad(x-2)(x-4)\leq0\end{aligned} \]

Find its Lagrangian;Find its Lagrange dual function;Find its Lagrange dual problem;Does the strong duality hold?

拉格朗日函数:

\[L(x,\lambda)=x^2+1+\lambda(x-2)(x-4) \]

拉格朗日对偶函数:

\(L(x, \lambda) = x^2 + 1 + \lambda(x-2)(x-4)\)

展开约束项:\((x-2)(x-4) = x^2 - 6x + 8\)

所以 \(L(x, \lambda) = (1+\lambda)x^2 - 6\lambda x + (1+8\lambda)\)。

\[因为g(\lambda)=\inf_xL(x,\lambda),所以我们需要找到最小值的x,λ乘子必须大于0。所以L变成了x平方的二次函数,那么一定有极小值 \]

求导后有:$$\frac{d}{dx} L(x, \lambda) = 2(1+\lambda)x - 6\lambda = 0$$

解得使得 \(L\) 最小的 \(x\) 为:\(x = \frac{3\lambda}{1+\lambda}\)

找到这个“最坏的 \(x\)”后,再把它代回原式,就能得到一个只包含 \(\lambda\) 的表达式(也就是去除了 \(x\) 之后的下确界 \(g(\lambda)\))。

\(g(\lambda) = (1+\lambda)\left(\frac{3\lambda}{1+\lambda}\right)^2 - 6\lambda\left(\frac{3\lambda}{1+\lambda}\right) + 1 + 8\lambda\)

\(g(\lambda) = -\frac{9\lambda^2}{\lambda+1} + 1 + 8\lambda\),此时任意的λ大于0,均为其下界面。

其拉格朗日对偶问题 Its Lagrange dual problem:

\[\begin{aligned}\max.&&-9\lambda^2/(\lambda+1)+1+8\lambda\\\mathrm{s.t.}&&\lambda\geq0\end{aligned} \]

As there are feasible points satisfying the strict inequality, the strong duality holds.

由于存在满足严格不等式的可行点(存在λ不等于0,仍然满足不等式的解),故强对偶性成立。


互补松弛性 Complementary Slackness

\[\begin{aligned}f_{0}(\mathbf{x}^{*})=&g(\boldsymbol{\lambda}^{*},\boldsymbol{\nu}^{*})=\inf_{\boldsymbol{x}\in\mathcal{D}}L(\mathbf{x},\boldsymbol{\lambda}^{*},\boldsymbol{\nu}^{*})\\=&\inf_{\mathbf{x}\in\mathcal{D}}\left\{f_{0}(\mathbf{x})+\sum_{i=1}^{m}\lambda_{i}^{*}f_{i}(\mathbf{x})+\sum_{i=1}^{p}\nu_{i}^{*}h_{i}(\mathbf{x})\right\}\end{aligned} \]

\[\begin{aligned}\leq&f_{0}(\mathbf{x}^{*})+\underbrace{\sum_{i=1}^{m}\lambda_{i}^{*}f_{i}(\mathbf{x}^{*})}_{\leq0}+\underbrace{\sum_{i=1}^{p}\nu_{i}^{*}h_{i}(\mathbf{x}^{*})}_{=0}\\\leq&f_{0}(\mathbf{x}^{*})\end{aligned} \]

前提是强对偶成立,即原最优值\(p^*\) = 对偶最优值\(d^*\)

不等式约束 \(f_i(x)≤0\),且对偶乘子 \(\lambda_i^*≥0\),所以 \(\sum \lambda_i^* f_i(x^*) ≤0\)

等式约束 \(h_i(x)=0\),所以 \(\sum \nu_i^* h_i(x^*) =0\) ,由于第二项整体≤0,代入后整体 ≤ \(f_0(x^*)+0 = f_0(x^*)\)

推导之后,我们发现f0小于等于f0,这也就意味着,中间式子全部其实为等号,中间项λi和fi(x)其中必定有一项为0。

这也代表了:我们算出来λ不为0后,我们可以直接令fi(x)=0 从而反解出x。


次优性/最优性证明 Certificate of Suboptimality/Optimality

回想一下,对于任意原始可行点 x 和对偶可行点 (λ, ν),均有:

\[f_{0}(\mathbf{x})\geq g(\boldsymbol{\lambda},\boldsymbol{\nu})\Longleftrightarrow G(\mathbf{x},\boldsymbol{\lambda},\boldsymbol{\nu})\triangleq f_{0}(\mathbf{x})-g(\boldsymbol{\lambda},\boldsymbol{\nu})\geq0. \]

对偶间隙(Duality Gap):

  • 对任何原可行点 \(\mathbf{x}\)(满足约束)和对偶可行点 \((\boldsymbol{\lambda}, \boldsymbol{\nu})\),对偶函数永远是原目标的下界,即 \(f_0(\mathbf{x}) \ge g(\boldsymbol{\lambda}, \boldsymbol{\nu})\)。

  • 它俩的差值 \(G = f_0(\mathbf{x}) - g(\boldsymbol{\lambda}, \boldsymbol{\nu})\) 就叫对偶间隙。它永远 \(\ge 0\)。

  • 如果 \(\gamma = 0\),说明上下界完全贴合,你找到的 \(\mathbf{x}\) 和 \((\boldsymbol{\lambda}, \boldsymbol{\nu})\) 就是最优的(强对偶)

  • 如果 \(\gamma > 0\)(弱对偶,有间隙),说明你当前的 \(\mathbf{x}\) 可能还没到最优,这个间隙就是次优性证明(Suboptimality Certificate)

停止判定:随便找个可行 \(\mathbf{x}\) 和可行 \((\boldsymbol{\lambda}, \boldsymbol{\nu})\),只要算出来 \(f_0(\mathbf{x}) - g(\boldsymbol{\lambda}, \boldsymbol{\nu})\) 足够小(比如 < 0.001),我们就认定:这个 \(\mathbf{x}\) 已经非常接近最优了,不用继续计算。

\[最优对偶间隙:\gamma=\inf_{\mathbf{x},\boldsymbol{\lambda},\boldsymbol{\nu}}\{G(\mathbf{x},\boldsymbol{\lambda},\boldsymbol{\nu})\}=\inf_{\mathbf{x}}\{f_{0}(\mathbf{x})\}-\sup_{\boldsymbol{\lambda},\boldsymbol{\nu}}\{g(\boldsymbol{\lambda},\boldsymbol{\nu})\}=p^{*}-d^{*}. \]


KKT条件 Karush-Kuhn-Tucker Conditions for Optimality

在强对偶成立、函数可微的前提下,这4条是求解带约束优化问题最优解的必要条件(对常见凸问题,它也是充分条件(充分且必要),这就意味着凸优化问题满足这4条就是最优解)。

\[\begin{aligned}\min.&&f_0(\mathbf{x})\\\mathrm{s.t.}&&f_i(\mathbf{x})\leq0,i=1,\cdots,m.\\&&&h_i(\mathbf{x})=0,i=1,\cdots,p.\end{aligned} \]

原可行性(Primal feasibility)

  • 公式:\(f_i(x^*) \le 0\),\(h_i(x^*) = 0\)
  • 意思:解 \(x^*\) 必须满足所有约束。(这是废话)

2. 对偶可行性(Dual feasibility)

  • 公式:\(\lambda_i^* \ge 0\)
  • 意思:不等式约束的乘子必须非负。这是对偶问题本身的要求(保证拉格朗日函数里惩罚项方向正确)。

3. 互补松弛(Complementary slackness)

  • 公式:\(\lambda_i^* f_i(x^*) = 0\)
  • 意思: 约束不卡住(\(f_i < 0\))则乘子为0;乘子不为0则约束必卡住(\(f_i = 0\))。

4. 平稳性(Stationarity)

  • 公式:\(\nabla f_0(x^*) + \sum \lambda_i^* \nabla f_i(x^*) + \sum \nu_i^* \nabla h_i(x^*) = 0\)
  • 意思:拉格朗日函数对 \(x\) 的梯度为0。相当于无约束优化的“导数为0”,只不过这里把目标函数和所有约束的梯度加权抵消了。
  • 结合互补松弛:那些没激活的约束(\(\lambda_i^*=0\))在平稳性里直接消失,只剩激活的约束和你一起“平衡”目标函数的梯度。

​ 它要求整体梯度为零,那就意味着找不到任何可以继续优化的方向。

KKT条件其实就是对于前文必须满足的所有关系的总结。


Water-Filling Example

注水问题:

\[\begin{aligned}\min.\quad&-\sum_{i=1}^n\log(x_i+\alpha_i)\\\mathrm{s.t.}\quad&\mathbf{x}\succeq\mathbf{0},\mathbf{1}^T\mathbf{x}=1\\\mathrm{where~}\alpha_i>0.\end{aligned} \]

目标函数:\(\min -\sum \log(x_i + \alpha_i)\)。负号加对数,本质是最大化 \(\sum \log(x_i + \alpha_i)\)。在通信中,这代表最大化信道容量;在数学上,这是一个典型的凸优化问题。

约束条件:

  • \(x \ge 0\):分配的资源 \(x_i\) 必须非负(对应图中的“地面高度”限制)。
  • \(1^T x = 1\):所有资源总和为 1(总水量/总功率固定为 1)。
  • \(\alpha_i > 0\):初始的“地面高度”或噪声水平。

KKT 条件的套用:

因为这是一个凸问题,满足 KKT 条件就是全局最优的充要条件。图中直接列出了推导出的 KKT 核心方程:

  • 原始可行:\(x \ge 0, 1^T x = 1\)。
  • 对偶可行与互补松弛:\(\lambda_i \ge 0, \lambda_i x_i = 0\)(不触底则无惩罚,触底则资源为0)。
  • 平稳性:\(-\frac{1}{x_i + \alpha_i} - \lambda_i + \nu = 0\)。这是对目标函数和约束求梯度得到的(\(-\frac{1}{x_i+\alpha_i}\) 是目标梯度,\(\nu\) 是等式乘子,\(\lambda_i\) 是不等式乘子)。

\[\mathcal{L}(x,\lambda,\nu)=-\sum_{i=1}^n\log(x_i+\alpha_i)-\sum_{i=1}^n\lambda_ix_i+\nu\left(\sum_{i=1}^nx_i-1\right) \]

\[对x求偏导:\frac{\partial\mathcal{L}}{\partial x_i}=-\frac{1}{x_i+\alpha_i}-\lambda_i+\nu=0 \]

\(x_i >0\),λi肯定就等于0,代入式子中得:

\[0=\nu-\frac{1}{x_i+\alpha_i}\Longrightarrow x_i+\alpha_i=1/\nu\Longrightarrow x_i=\frac{1}{\nu}-\alpha_i \]

\(x_i=0\),λi肯定大于等于0,此时:

\[-\frac{1}{0+\alpha_i}-\lambda_i+\nu=0\Longrightarrow\lambda_i=\nu-\frac{1}{\alpha_i} \]

所以 \(\nu -1/\alpha_i \ge0 \implies \boldsymbol{\nu \ge 1/\alpha_i}\)

把两种情况合并,\(x_i\)可以写成统一的分段形式:

\[x_i=\max\begin{Bmatrix}0,&&\frac{1}{\nu}-\alpha_i\end{Bmatrix} \]

再代入总和约束 \(\sum_{i=1}^n x_i =1\):

\[\sum_{i=1}^n\max\left\{0,\frac{1}{\nu}-\alpha_i\right\}=1 \]

水深就是 \(x_i = \text{水面总高度} - \text{地面高度} = \frac{1}{\nu}-\alpha_i\)

\[\text{水面总高度} = \frac{1}{\nu} \]


例子,使用KKT条件计算出下列式子的最优解:

\[\begin{aligned}\min.\quad&\quad x^{2}+1\\\mathrm{s.t.}\quad&\quad(x-2)(x-4)\leq0\end{aligned} \]

最小化 \(f(x)=x^2+1\)(开口向上的抛物线,无约束最小值在\(x=0\),值为1)

约束:\((x-2)(x-4)\le0\) → 解为 \(2\le x\le4\),无约束最优\(x=0\)不在可行域里,所以最优解一定在可行域边界/内部。

约束写为 \(g(x)=(x-2)(x-4)\le0\),引入对偶乘子\(\lambda\ge0\)

\[\mathcal{L}=x^2+1+\lambda\cdot(x-2)(x-4) \]

\(g(x)=x^2-6x+8\),对\(x\)求导得梯度:\(g'(x)=2x-6\)

  1. 平稳性:\(\frac{d\mathcal{L}}{dx}=2x + \lambda(2x-6)=0\) (目标导数 + λ*约束导数 =0)
  2. 互补松弛:\(\lambda\cdot g(x)=\lambda(x-2)(x-4)=0\)
  3. 原始可行+对偶可行:\((x-2)(x-4)\le0,\ \lambda\ge0\)

\(\lambda=0\)(约束不生效)

代入平稳性:\(2x=0→x=0\),但\(x=0\)不满足\(2\le x\le4\),排除。

\(\lambda≠0\) → 由互补松弛,\(g(x)=0\) → \(x=2\)或\(x=4\)

  • 试\(x=4\):代入平稳性 \(2 * 4 + \lambda*(8-6)=8+2\lambda=0 → \lambda=-4\),违反\(\lambda\ge0\),排除。
  • 试\(x=2\):代入平稳性 \(2 * 2 + \lambda*(4-6)=4-2\lambda=0 → \lambda=2\),满足\(\lambda\ge0\),且在可行域内。

最优解 \(x^*=2\),最优值 \(p^*=2^2+1=5\),对应乘子\(\lambda^*=2\)。


例子2,使用KKT条件计算出下列式子的最优解:

\[\begin{aligned}\min.\quad&\quad||\mathbf{Ax}-\mathbf{b}||_2^2\\\mathrm{s.t.}\quad&\quad\mathbf{Gx}=\mathbf{h}\end{aligned} \]

\[\begin{array}{l}\text{You are given the following: }\bigtriangledown\mathbf{A}^{T}\mathbf{x}=\mathbf{A},\bigtriangledown\mathbf{x}^{T}\mathbf{A}=\mathbf{A},\mathrm{and}\\\bigtriangledown\mathbf{x}\mathbf{A}\mathbf{x}=(\mathbf{A}+\mathbf{A}^{T})\mathbf{x}\end{array} \]

等式约束 \(Gx=h\),引入乘子 \(\nu\),拉格朗日函数:

\[L(x,\nu) = \|Ax-b\|_2^2 + \nu^T(Gx-h) \]

展开平方(注意 \(\|Ax-b\|^2 = (Ax-b)^T(Ax-b) = x^TA^TAx - 2b^TAx + b^Tb\)):

\[L = x^TA^TAx - 2b^TAx + b^Tb + \nu^TGx - \nu^Th \]

KKT的核心:对 \(x\) 求导=0(平稳性)+ 约束满足:

对 \(x\) 求导(矩阵求导规则:\(x^TMx \to 2Mx\),\(c^Tx \to c\)):

\[\frac{\partial L}{\partial x} = 2A^TAx - 2A^Tb + G^T\nu = 0 \]

\[Gx = h \]

从 \(2A^TAx - 2A^Tb + G^T\nu = 0\) 移项:

\[2A^TAx = 2A^Tb - G^T\nu \]

\[A^TAx = A^Tb - \frac{1}{2}G^T\nu \]

假设 \(A^TA\) 可逆,左乘 \((A^TA)^{-1}\):

\[x = (A^TA)^{-1}A^Tb - \frac{1}{2}(A^TA)^{-1}G^T\nu \]

\(x\) 代入约束 \(Gx=h\):

\[G\left[(A^TA)^{-1}A^Tb - \frac{1}{2}(A^TA)^{-1}G^T\nu\right] = h \]

\[G(A^TA)^{-1}A^Tb - \frac{1}{2}G(A^TA)^{-1}G^T\nu = h \]

\[\frac{1}{2}G(A^TA)^{-1}G^T\nu = G(A^TA)^{-1}A^Tb - h \]

\[\nu = 2\left[G(A^TA)^{-1}G^T\right]^{-1}\left(G(A^TA)^{-1}A^Tb - h\right) \]


等式约束的标准维度约定,完全由「约束的数量」决定的:

我们的目标是求\(x\),首先约定\(x\)是\(n\)维向量(也就是 \(n\times1\),列向量,这是变量本身的维度)。机器学习/优化惯例:通常默认 \(x\) 是列向量,为了凑出点积等于标量,拉格朗日乘子默认也写成列向量,所以前面必须带转置 \(\nu^T\)。在标准的机器学习/数值优化惯例(Numerator Layout / 分母布局)下,所有的未知数和变量都默认竖着写(列向量)。

如果有 \(m\) 个等式约束,每个约束的形式都是:\(g_i(x) = G_{i,}x = h_i\),也就是每个约束用一个长度为\(n\)的行向量(和\(x\)长度相同才能点积算结果)乘\(x\)得到一个标量等于\(h\)的第\(i\)个元素。\(m\)个这样的行拼起来,自然就是 \(m\times n\) 的矩阵\(G\);\(m\)个约束的右端项\(h_i\)拼起来就是 \(m\times1\) 的向量\(h\)。

变量\(x=(x_1,x_2,x_3)\),是3维(\(n=3\)),有2个等式约束:

\[x_1 + 2x_2 = 5 \]

\[3x_2 +4x_3 = 6 \]

那么\(G\)就是2行3列(\(m=2\)个约束,\(n=3\)个变量)h就是2行1列:

\[G=\begin{bmatrix}1&2&0\\0&3&4\end{bmatrix}, \quad h=\begin{bmatrix}5\\6\end{bmatrix} \]

\(\nu\)对应\(m\)个约束 → \(\nu\)本身是 \(m\times1\)(每个约束一个标量乘子)

拉格朗日函数最终必须是单个标量,所以v取转置。

\(\nabla_x A^T x = A\)

\(A\)是常数矩阵,\(A^T x\)结果是列向量,实际是向量对向量求导,结果为矩阵:展开\(A^Tx = \sum_{i=1}^n A_{i,j}x_j\),对\(x\)求导结果就是矩阵\(A\)。

\(\nabla_x x^T A = A^T\)

\(x^T A = \sum_j x_j A_{j,i}\),对\(x_k\)求导得\(A_{k,i}\),拼起来就是\(A^T\)。如果\(A\)是列向量\(a\),则\(x^T a = a^Tx\),梯度就是\(a\)

\(x^T A x = \sum_i\sum_j A_{ij}x_i x_j\)

对\(x_k\)求偏导:

  • 只有\(i=k\)的项:\(\sum_j A_{kj}x_j\)
  • 只有\(j=k\)的项:\(\sum_i A_{ik}x_i\)
    加起来就是:\((A x)_k + (A^T x)_k\),所以整体就是\((A+A^T)x\)。
posted @ 2026-10-15 03:29  narilove  阅读(12)  评论(0)    收藏  举报