感谢算法博弈论

期中寄，人已疯

---

\(\mathbf{LP}\)： \(A\) 是 \(m\times n\) 的矩阵，\(c\) 是 \(n\) 维向量，\(b\) 是 \(m\) 维向量，以下优化问题被称为 \(\mathbf{LP}\) 问题：

\(x\) 是 \(n\times 1\) 维向量，在满足限制 \(Ax\le b,x\ge 0\) 的情况下，最大化 \(c^{T}x\)

\(\mathbf{DLP}\)： \(y\) 是 \(m\) 维向量，在满足 \(y^{T}A\ge c^{T},y\ge 0\) 的情况下最小化 \(b^{T}y\)，被称为 \(\mathbf{DLP}\) 问题。

定理 \(0.15\)：\(LP\le DLP\)

• 首先有 \(Ax\le b,y^{T}Ax\le y^{T}b\)，而 \(c^{T}\le y^{T}A\to c^{T}x\le y^{T}Ax\le y^{T}b=b^{T}y\)

\(\mathbf{法卡斯定理}\)：

对任意 \((B,f)\) 有以下两个性质恰好满足其中一个：

• \(\exist z\ge 0,Bz=f\)
• \(\exist w,w^{T}B\ge 0,w^{T}f<0\)（这意味着向量 \(w^{T}f\) 的任意分量均小于 \(0\)）
• 其中 \(B\) 为 \(n\times m\) 矩阵，\(f\) 为 \(n\) 维向量。

\(\rm Proof:\)

• 对于 \(n\) 维空间，定义凸集是一个“空间” \(V\) （并非张成的线性空间，而类似于一个集合）使得 \(\forall \vec{x},\vec{y}\in V\)，有 \(\forall t\in [0,1],t\vec{x}+(1-t)\vec{y}\in V\)，其中 \(t\vec{x}+(1-t)\vec{y}\) 描绘了一条线段。
• 定义锥是向量空间 \(V\) 的子集 \(C\) 使得 \(\forall \vec{v}\in C,\forall \alpha>0\in R,\alpha \vec{v}\in C\)（实际上 \(R\) 不一定是实数集 \(\R\)）
• 凸锥则定义为：\(\forall \alpha,\beta>0\in R,\vec{v},\vec{u}\in C\) 有 \(\alpha \vec{v}+\beta \vec{u}\in C\)，则锥 \(C\) 定义为凸锥。

如果我们将矩阵 \(B\) 视为向量列 \(\begin{bmatrix} \vec{b_1}\\...\\\vec{b_n} \end{bmatrix}\)，则欲证的法卡斯定理改为 \(\exist z\ge 0\) 使得 \(\sum z_i\vec{b_i}=f\)，而我们对于 \(B\) 考虑其生成的凸锥 \(C\) 时， 这意味着 \(f\in C\)。

下面我们说明第二类命题等价于 \(f\notin C\)：

考虑 \(f\notin C\)，则存在超平面 \(\alpha\) 使得凸锥 \(C\) 位于其左侧，\(f\) 位于其右侧，记 \(\beta\) 为 \(\alpha\) 的法线，取其位于凸锥那一侧的结果，则 \(\lang f,\beta\rang<0\)（因为夹角\(>180\)）对应着 \(\beta\cdot f<0\)，而另一边任意 \(c\in C\) 有 \(\lang c,\beta\rang\ge 0\) 对应着 \(w^{T}B\ge 0\)。

---

证明性质，以下性质只有一个满足：

• \(DLP=LP\)
• \(LP\) 可行且无界，则 \(DLP\) 不可行。
• \(DLP\) 可行且无界，则 \(LP\) 不可行。
• \(LP\) 和 \(DLP\) 都不可行且无界。

---

强对偶性 \(\mathbf{(SDLP)}\)：

• 线性规划初始问题 \(\min_x\{c^{T}x|Ax\ge b,x\ge 0\}\) 存在解 \(x^{*}\)，那么其对偶形式 \(\max_{y}\{b^{T}y|y^{T}A\le c,y\ge 0\}\) 存在解 \(y^{*}\) 且有 \(c^{T}x^{*}=b^{T}y^{*}\)

等价表述：

存在向量 \((x,y)\) 使得：

• \(-c^{T}x+b^{T}y\le 0\)
• \(Ax\le b\)
• \(c\le A^{T}y\Rightarrow -A^{T}y\le -c\)
• \(x,y\ge 0\)

可以改写为矩阵模式：

\(\begin{bmatrix} -c^T&+b^T\\A&0\\0&-A^T \end{bmatrix}\times \begin{bmatrix}x\\y\end{bmatrix}\le \begin{bmatrix}0\\b\\-c\end{bmatrix}\)

---

\(\rm Proof\)：

若不满足强对偶，取 \(B=\begin{bmatrix} -c^T&+b^T\\A&0\\0&-A^T \end{bmatrix},f=\begin{bmatrix}0\\b\\-c\end{bmatrix}\)，则由法卡斯定理知：

1. 存在向量 \(z=\begin{bmatrix}x\\y\end{bmatrix}\) 有 \(Bz=f\)
2. \(zB\ge 0,zf<0\) 不妨设 \(z=(p,q,s)\) 得到：(p 1x1, q A, s A)
   • \(-pc^T+qA\ge 0\)
     • \(-pc^Ts^T+qAs^T\ge 0\)
   • \(pb^T-sA^T\ge 0\)
     • \(pb^Tq^T-sA^Tq^T\ge 0\)
   • \(bq-cs<0\)
   • 相加得 \(p(bq-cs)\ge 0\)
   • 由 \(bq-cs<0\Rightarrow p=0\)
   • 从而 \(bq<0\) 和 \(cs>0\) 中至少有一条成立。
   • \(bq<0,qA\ge 0\) 此时有 \(qA\ge c\) \(\rm DLP\) 可行意味着没有上界。
   • \(cs>0,-sA^T\ge 0\) \(\rm LP\) 可行意味着没有上界。
   • 上述证明最后的部分没有看懂，谢谢！

\(\rm Proof2:\)

线性规划初始问题 \(\min_x\{c^{T}x|Ax\ge b,x\ge 0\}\) 存在解 \(x^{*}\)，那么其对偶形式 \(\max_{y}\{b^{T}y|y^{T}A\le c,y\ge 0\}\) 存在解 \(y^{*}\) 且有 \(c^{T}x^{*}=b^{T}y^{*}\)

• 从形式 \(2\) 出发，令问题最小解在 \(x^*\) 处取到，\(z^*=c^Tx\) 定义如下向量：

• \(\vec{A}=\begin{bmatrix} A\\-c^T \end{bmatrix},\vec{b_{\epsilon}}=\begin{bmatrix}b\\-z^*+\epsilon\end{bmatrix},\vec{y}=\begin{bmatrix}y\\\alpha\end{bmatrix}\)

• 其中 \(\epsilon > 0\)，因为 \(c^{T}x^*=z^*\) 取到最小值，所以 \(-c^{T}x\) 不可能达到更大的 \(-z^*+\epsilon\)

• 从而有 \(\forall x\ge 0,\vec{A}x\neq \vec{b}_{\epsilon}\)

• 由法卡斯定理，此时对于矩阵向量组 \((\vec{A},\vec{b}_{\epsilon})\) 有存在向量 \(\vec{y}\) 使得：

  • \[\vec{A}\vec{y}\le 0,\vec{b}_{\epsilon}^T\vec{y}> 0 \]

• 即：

\[A^Ty\le\alpha c,b^Ty>\alpha(z^*-\epsilon) \]

• 考虑 \(\alpha\) 的正负。
• 由 \(\vec{b}_{\epsilon}^T\vec{y}=\vec{b}_{0}^T\vec{y}+\alpha\epsilon> 0\)，而由 \((\vec{A},\vec{b_0})\) 满足性质 \(1\)（取 \(z=x^*\)）得其不满足性质 \(2\) 有：
  • \(\forall \vec{y},\vec{A}^T\vec{y}\le 0\Rightarrow \vec{b_0}^T\vec{y}\le 0\)
  • 而 \(\vec{b}_{\epsilon}^T\vec{y}=\vec{b}_{0}^T\vec{y}+\alpha\epsilon> 0\) 给出了 \(\alpha>0\)
• 从而有：

• \[A^T(y/\alpha)\le c,b^T(y/\alpha)>z^*-\epsilon \]

• \[\max_y \{b^Ty|A^Ty\le c\}>z^*-\epsilon \]

• 而弱对偶性给出了：

• \[z^*\ge \max_y \{b^Ty|A^Ty\le c\}>z^*-\epsilon \]

• 令 \(\epsilon\to 0\) 得到：\(z^*=\max_y \{b^Ty|A^Ty\le c\}\)