对标准形式线性规划问题
\[\begin{aligned}
\text{minimize }\quad & \bm c^\top \bm x \nonumber \\
\text{subject to } \quad & \begin{aligned}&\bm A\bm x = \bm b \nonumber \\
&\bm x \geq \bm 0 \nonumber\end{aligned}
\end{aligned}\tag{1}\]
称其为原 (primal) 问题。假设存在最优解 \(\bm x^*\)。考虑一个松弛问题
\[\begin{aligned}
\text{minimize }\quad & \bm c^\top \bm x + \bm p^\top (\bm b - \bm A\bm x) \nonumber \\
\text{subject to } \quad & \bm x \geq \bm 0 \nonumber
\end{aligned}\tag{2}\]
令 \(g(\bm p)\) 为这个问题在参数 \(\bm p\) 下的的最优解。那么就有
\[g(\bm p) = \min_{\bm x \geq \bm 0} \left\{\bm c^\top \bm x + \bm p^\top (\bm b - \bm A \bm x)\right\} \leq \bm c^\top \bm x^* + \bm p^\top (\bm b - \bm A \bm x^*) = \bm c^\top \bm x^*
\]
于是每个 \(g(\bm p)\) 都为原问题的最优解提供了一个下界。考虑找到最紧的那个下界
\[\begin{aligned}
\text{maximize }\quad & g(\bm p) \\
\text{subject to } \quad & \text{No constraints}
\end{aligned}\tag{3}\]
根据 \(g(\bm p)\) 的定义可以推导出
\[g(\bm p) = \min_{\bm x \geq 0} \left\{\bm c^\top \bm x + \bm p^\top (\bm b - \bm A \bm x)\right\} = \bm p^\top \bm b + \min_{\bm x \geq \bm 0} \left\{(\bm c^\top - \bm p^\top \bm A) \bm x\right\}
\]
\[\min_{\bm x \geq \bm 0} \left\{(\bm c^\top - \bm p^\top \bm A) \bm x\right\} = \begin{cases} 0 & (\bm c^\top - \bm p^\top \bm A) \geq \bm 0^\top \\ -\infty & \text{otherwise}\end{cases}
\]
因此式 \((3)\) 等价于
\[\begin{aligned}
\text{maximize }\quad & \bm p^\top \bm b \\
\text{subject to } \quad & \bm p^\top \bm A \leq \bm c^\top
\end{aligned}\tag{4}\]
这个问题与原问题是等价的。直观地讲，限制与最优化是相对的关系。当我们想要最优化一个式子时，所考虑的就是这个式子在某个点与其他点之间的大小关系限制；当我们想要要求某种限制时，可以设计一个最优化问题，要求只能取极值点作为可行解。拉格朗日乘子法只应用了后一种思路，而对偶便是讲究相互转化。
在单纯形中，最优解的充要条件是
\[\bm c^\top - \bm c^\top_{\bm B} \bm B^{-1} \bm A \geq \bm 0^\top
\]
即换掉任何一个基变量都不会变得更优。由于是充要条件，这就可以被视作是对最优解的一个限制。强对偶定理的证明就是如此。
我们先来看非标准形式的线性规划应该怎么对偶。考虑 \(\bm A \bm x \geq \bm b\)，其可以转化为 \(\bm A \bm x - \bm s = \bm b, \bm s \geq \bm 0\)。于是可以写作标准形式
\[\begin{bmatrix} \bm A \mid -\bm I\end{bmatrix}\begin{bmatrix}\bm x \\ \bm s\end{bmatrix} = \bm b
\]
因此其对偶为
\[\bm p^\top[\bm A \mid -\bm I] \leq [\bm c^\top \mid \bm 0^\top]
\]
即
\[\bm p^\top \bm A \leq \bm c^\top, \bm p \geq \bm 0
\]
也就是说，\(\bm A\bm x - \bm b\) 与 \(\bm p\) 是同号的。而
\[\min \left\{(\bm c^\top - \bm p^\top \bm A) \bm x\right\} = \begin{cases} 0 & (\bm c^\top - \bm p^\top \bm A), \bm x \text{ positively correlated} \\ -\infty & \text{otherwise}\end{cases}
\]
说明 \(\bm c^\top - \bm p^\top \bm A\) 和 \(\bm x\) 也是同号的。注意后者如果将矩阵放在左侧那就是异号。
这两种推导分别从限制的角度和最优化的角度解释，目的是让它们都从 primal 出发。反过来，也可以用最优化的角度解释第一个而用限制的角度解释第二个，这样它们便是从 dual 出发。比如
\[\max g(\bm p) = \begin{cases} \min_{\text{constraints of } \bm x} \left\{\bm c^\top \bm x\right\} & \bm p, (\bm b - \bm A \bm x)\text{ negatively correlated} \\ +\infty & \text{otherwise}\end{cases}
\]
现在我们可以把所有可能的情况全部罗列出来。令 \(\bm a_i^\top, \bm A_j\) 为 \(\bm A\) 的行、列。
\[\begin{aligned}
\text{minimize }\quad & \bm c^\top \bm x \\
\text{subject to } \quad & \begin{aligned}&\bm a_i^\top\bm x \geq b_i,\quad i \in M_1 \\ &\bm a_i^\top\bm x \leq b_i,\quad i \in M_2 \\ &\bm a_i^\top\bm x = b_i,\quad i \in M_3 \\ &x_j \geq 0,\quad j \in N_1 \\ &x_j \leq 0,\quad j \in N_2 \\ &x_j \text{ free},\quad j\in N_3 \\ \end{aligned}
\end{aligned}\quad \Longleftrightarrow \quad \begin{aligned}
\text{maximize }\quad & \bm p^\top \bm b \\
\text{subject to } \quad & \begin{aligned}&p_i \geq 0, \quad i \in M_1 \\ &p_i \leq 0, \quad i \in M_2 \\ &p_i \text{ free}, \quad i \in M_3 \\ &\bm p^\top \bm A_j \leq c_j, \quad j \in N_1 \\ &\bm p^\top \bm A_j \geq c_j, \quad j \in N_2 \\ &\bm p^\top \bm A_j = c_j, \quad j \in N_3 \\
\end{aligned}
\end{aligned}\tag{5}\]
我们可以观察出，
定理 如果我们将原问题的对偶问题转化为一个等价的最小化问题，那么其对偶等价于原问题。
即，对偶的对偶是原问题。
定理 若我们将一个线性规划问题 \(\Pi_1\) 通过以下几种操作转化为另一个线性规划问题 \(\Pi_2\)
- 将一个自由变量换为两个非负变量的差。
- 用一个松弛变量将一个不等式变为等式。
- 删去 \(\bm A\) 中线性相关的行。
则 \(\Pi_1\) 和 \(\Pi_2\) 的对偶问题是等价的。换句话说，它们的对偶问题要么无可行解，要么拥有相同的最优解。
也就是说，对偶性是纯几何（geometry，指表示法无关 representation independent）的。
现在我们开始正式证明对偶定理。
定理 （弱对偶定理）如果 \(\bm x, \bm p\) 分别是原问题和对偶问题的一个可行解，那么
\[\bm p^\top \bm b \leq \bm c^\top \bm x \tag{6}
\]
证明
令
\[\begin{aligned}
u_i &= p_i(\bm a_i^\top \bm x - b_i) \geq 0 \\
v_j &= (c_j - \bm p^\top \bm A_j) x_j \geq 0
\end{aligned}\tag{7}\]
\(\geq 0\) 是根据同号性。而
\[\sum_i u_i = \bm p^\top (\bm A\bm x - \bm b) = \bm p^\top \bm A \bm x - \bm p^\top \bm b
\]
\[\sum_i v_i = \bm (\bm c^\top - \bm p^\top \bm A)\bm x = \bm c^\top \bm x - \bm p^\top \bm A \bm x
\]
因此
\[0 \leq \sum_i u_i + \sum_j v_j = \bm c^\top \bm x - \bm p^\top \bm b
\]
如果是特殊的形式 \(\bm A \bm x \geq \bm b, \bm x \geq \bm 0\) 和 \(\bm A^\top \bm p \leq \bm c, \bm p \geq \bm 0\)，证明可以更简洁
\[\bm c^\top \bm x \geq \bm p^\top\bm A\bm x \geq \bm p^\top \bm b
\]
推论 若原问题的花费无下界，则对偶问题无可行解；若对偶问题的花费无上界，则原问题无可行解。
推论 \(\bm x, \bm p\) 是原问题和对偶问题的一个可行解，若 \(\bm p^\top \bm b = \bm c^\top \bm x\)，则两者均达到最优。
定理（强对偶定理）如果原问题拥有最优解，则对偶问题也拥有且值相等。
证明 考虑标准形式 (1)
\[\begin{aligned}
\text{minimize }\quad & \bm c^\top \bm x \nonumber \\
\text{subject to } \quad & \begin{aligned}&\bm A\bm x = \bm b \nonumber \\
&\bm x \geq \bm 0 \nonumber\end{aligned}
\end{aligned}\]
其中 \(\bm A\) 行线性无关，存在最优解 \(\bm x^*\)。
根据单纯形算法的推论，当算法终止时，对最优基 \(\bm B\) 下的最优解 \(\bm x\)，基本变量 \(\bm x_{\bm B} = \bm B^{-1}\bm b\) 满足
\[\bm c^\top - \bm c^\top_{\bm B} \bm B^{-1}\bm A \geq \bm 0^\top
\]
令 \(\bm p^\top = \bm c^\top_{\bm B}\bm B^{-1}\)，则有 \(\bm p^\top \bm A \leq \bm c^\top\)，故其为对偶问题 (4)
\[\begin{aligned}
\text{maximize }\quad & \bm p^\top \bm b \\
\text{subject to } \quad & \bm p^\top \bm A \leq \bm c^\top
\end{aligned}\]
的一组可行解，并且 \(\bm p^\top \bm b = \bm c^\top_{\bm B} \bm B^{-1} \bm b = \bm c^\top_{\bm B} \bm x_{\bm B} = \bm c^\top \bm x\)，因此是最优解。
对非标准形式，我们已经证明了等价性。
于是我们可以画出一张表，表示原问题和对偶问题的解的所有可能的分布。
|
Finite optimum |
Unbounded |
Infeasible |
| Finite optimum |
Possible |
|
|
| Unbounded |
|
|
Possible |
| Infeasible |
|
Possible |
Possible |
根据对称性，这里并不需要指出哪一侧是原问题哪一侧是对偶问题。
浙公网安备 33010602011771号