证明 Shermann-Morrison-Woodbury 公式 （又称矩阵求逆引理）

该引理陈述如下：
设 \(A\in\mathbb{R}^{n\times n}\) 可逆，\(U\in\mathbb{R}^{n\times k}\), \(V\in\mathbb{R}^{k\times n}\), 且 \(I_{k}+VA^{-1}U\) 可逆，则 \(A+UV\) 可逆，且其逆矩阵为：

\[(A+UV)^{-1}=A^{-1}-A^{-1}U(I_{k}+VA^{-1}U)^{-1}VA^{-1}. \]

\(\textbf{证明}：\) 不妨设 \(X=A+UV\), \(Y=A^{-1}-A^{-1}U(I_{k}+VA^{-1}U)^{-1}VA^{-1}\)，\(C=VA^{-1}U\)。
\(第一步证明：YX=I\)。

\[\begin{align} \begin{aligned} YX&=\big(A^{-1}-A^{-1}U(I_{k}+VA^{-1}U)^{-1}VA^{-1}\big)\big(A+UV\big)\\ &=I+A^{-1}UV-A^{-1}U(I_{k}+VA^{-1}U)^{-1}V-A^{-1}U(I_{k}+VA^{-1}U)^{-1}VA^{-1}UV\\ &=I+A^{-1}UV-A^{-1}U(I_{k}+C)^{-1}V-A^{-1}U(I_{k}+C)^{-1}CV\\ &=I+A^{-1}UV-A^{-1}U(I_{k}+C)^{-1}(I_{k}+C)V\\ &=I. \end{aligned} \end{align} \]

\(第二步证明：XY=I\)。

\[\begin{align} \begin{aligned} XY&=\big(A+UV\big)\big(A^{-1}-A^{-1}U(I_{k}+VA^{-1}U)^{-1}VA^{-1}\big)\\ &=I-U\big(I_{k}+VA^{-1}U\big)^{-1}VA^{-1}+UVA^{-1}-UVA^{-1}U\big(I_{k}+VA^{-1}U\big)^{-1}VA^{-1}\\ &=I-U\big(I_{k}+C\big)^{-1}VA^{-1}+UVA^{-1}-UC\big(I_{k}+C\big)^{-1}VA^{-1}\\ &=I-U\big(I_{k}+C\big)\big(I_{k}+C\big)^{-1}VA^{-1}+UVA^{-1}\\ &=I. \end{aligned} \end{align} \]

\[特殊情形，当 k=1 时, U=u\in\mathbb{R}^{n\times 1}, V=v^{\top}\in\mathbb{R}^{1\times n}. \]

则公式退化为:

\[(A+uv^{\top})^{-1}=A^{-1}-\frac{A^{-1}uv^{\top}A^{-1}}{1+v^{\top}A^{-1}u}. \]

因此，证明完毕。

\[该求逆引理是十分重要的。特别地，在数值最优化中，众多拟牛顿方法的构造就来源于该求逆公式，比如大名鼎鼎的 BFGS 以及 DFP 公式都来源于此引理。 \]