Mirror Descent

我们已经知道梯度下降的每一次迭代可以看作求\(\hat f(x)=f(x_k)+\lang \nabla f(x_k),x-x_k\rang+\dfrac{1}{2\eta}\|x-x_k\|^2\)的最小值，而\(\hat f(x)\)的选取其实并不是唯一的，换言之我们不一定要选取二次函数。二次函数的特殊性（例如对称性）有时并不能很好的刻画原函数\(f(x)\)的几何特性，这可能使得梯度下降算法表现得不那么优秀。假设我们选取另一个函数\(g\)（注意必须是凸函数），当然我们还是希望保证其线性部分是不变的，因此实际上我们关注的是\(g(x)-g(x_k)-\lang \nabla g(x_k),x-x_k\rang\)这一项。这一项称为Bregman divergence(布雷格曼散度)，记为\(D_g(x,x_k)\)，表示一个函数与自己线性近似的误差。我们的新算法要求\(f(x_k)+\lang \nabla f(x_k),x-x_k\rang+\dfrac{1}{\eta}D_g(x,x_k)\)的最小值，也就是等价地要求\(\lang \nabla f(x_k),x\rang+\dfrac{1}{n}D_g(x,x_k)\)的最小值。注意到\(\nabla^2_x D_g(x,y)=\nabla^2 _x g(x)\)，既然\(g\)是凸函数，因此\(D_g(x,y)\)关于\(x\)也是凸函数。而\(\lang \nabla f(x_k),x\rang\)是仿射项，因此\(\lang \nabla f(x_k),x\rang+\dfrac{1}{n}D_g(x,x_k)\)整个函数是凸函数，其最小值点\(x_{k+1}\)应当满足梯度为0，因此\(\nabla f(x_k)+\dfrac{1}{\eta}\nabla_x D_g( x_{k+1},x_k)=0\)，其中根据定义\(\nabla _x D_g(x,x_k)=\nabla g(x)-\nabla g(x_k)\)，化简得到\(\nabla g(x_{k+1})=\nabla g(x_k)-\eta \nabla f(x_k)\)​。这就是我们做梯度下降的新方法。

如果选定\(g\)，\(\nabla g(x_k)\)是容易求出的，但得到了右边的结果\(\nabla g(x_{k+1})\)以后，怎么反过来求出\(x_{k+1}\)呢？这意味着我们要能够求出梯度的逆映射（\(\R^n\to \R^n\)）。这要用一个称为Convex conjugate(凸共轭)的方法。我们对于凸函数\(f\)定义它的共轭函数\(f^*(v)=\max\limits_{y} \{\lang v,y\rang-f(y)\}\)，下面我们证明\((\nabla f)^{-1}(v)=\nabla f^*(v)\)始终成立：注意到\(\lang v,y\rang\)关于\(v\)是仿射的，\(f\)是凸的，而对凸函数逐点求最大值依然是凸函数，因此\(f^*\)是凸函数。如果\(v\)取\(\nabla f(x)\)，那么由凸函数的一阶条件有\(f(y)\geq f(x)+\lang v,y-x\rang\)，整理得到\(\lang v,y\rang-f(y)\leq \lang v,x\rang-f(x)\)，也即\(f^*(v)=\max\limits_{y} \{\lang v,y\rang-f(y)\}\leq \lang v,x\rang-f(x)\)，而当且仅当\(y=x\)时取到等号，因此有\(f(x)+f^*(v) = \lang v,x\rang\)对任意\(x\)成立。而根据共轭函数的定义，对于任何的\(v\)都有\(f^*(v)\geq \lang v,x\rang-f(x)\)，而当\(v\neq \nabla f(x)\)时等号不成立。因此\(f(x)+f^*(v) = \lang v,x\rang\)这个等式成立当且仅当\(v=\nabla f(x)\)。现在我们发现\(f^{**}=f\)始终成立，任何一个函数共轭两次就会回到本身，因为\(f^{**}(x)=\max\limits_{v}\{\lang v,x\rang-f^*(v)\}\)\(=\max\limits_{v}\{\lang v,x\rang+\min\limits_{v'}\{-\lang v',v\rang+f(v')\}\}\leq\)\(\max\limits_{v}\{\lang v,x\rang-\lang x,v\rang+f(x)\}=f(x)\)，\(f^{**}(x)=\max\limits_{v}\{\lang v,x\rang-f^*(v)\}\geq\)\(\lang \nabla f(x),x\rang-f^*(\nabla f(x))=f(x)\)，因此\(f^{**}(x)=f(x)\)。那么依然取\(v=\nabla f(x)\)，那么\(f(x)+f^*(v) = \lang v,x\rang\)可以写作\(f^{**}(x)+f^*(v) = \lang v,x\rang\)，把这看作上式关于\(f^*\)的结论写作\(f^*(v)+f^{**}(x)=\lang v,x\rang\)，根据取等条件必须是梯度得到\(x=\nabla f^*(v)\)，也即\((\nabla f^{-1})(v)=\nabla f^*(v)\)。

我们把以上这个方法称为镜像下降法(Mirror Descent)。“镜像”其实是从高观点来看上面的算法：我们发现，梯度下降并不是一个仿射不变的算法，这本质上是由于\(x_{k+1}=x_k-\eta \nabla f(x_k)\)本身就不是一个“合理”的表达式——梯度并不完全是一个“向量”，因为梯度是微分，而微分是线性映射。只不过在有限维欧氏空间中我们可以用矩阵来表示线性映射，但这种表示是非常依赖于坐标选取的。一个线性空间\(\R^n\)中所有的线性映射（泛函）\(\R^n\to \R\)构成了对偶空间，梯度本质上是对偶空间中的向量。通过上面“镜像下降”的方法，我们实际上把\(x_{k+1}=x_k-\eta \nabla f(x_k)\)换作了\(\nabla g(x_{k+1})=\nabla g(x_k)-\eta \nabla f(x_k)\)，这样的递推式就显得合理了，因为一切都是在对偶空间这一“镜像”中完成了。我们要做的就是通过\(\nabla g\)这一从原空间到对偶空间的映射把\(x_k\)投影到镜像，在对偶空间中做一步下降，然后再用逆映射还原到原空间。

如何选取凸函数\(g\)呢？我们希望\(D_g\)是容易求最小值的，并且能比较好地反应\(f\)的几何性质。如果\(g\)是严格凸的，那么根据凸函数的一阶条件\(D_g(x,y)>0\)当且仅当\(x \neq y\)，同时\(D_g(x,x)=0\)。可见Bregman divergence很像是在描述一种“距离平方”。而恰恰，我们现在正是要用它来代替原来的\(\dfrac{1}{2\eta}\|x-x_k\|^2\)这一项。我们有Bregman divergence意义下的余弦定理\(D_g(x,y)+D_g(x,z)=D_g(x,z)+\lang \nabla g(z)-\nabla g(y),x-y\rang\)。利用距离平方和可以描述钝角，在Bregman divergence意义下就是\(D_g(y,x_0)\geq D_g(y,x^*)+D_g(x^*,x_0)\)。这个结论附加上一个凸函数也依然是正确的，因此\(L(y)+D_g(y,x_0)\geq L(x^*)+D_g(y,x^*)+D_g(x^*,x_0)\)。结合\(f(y)>f(x_k)+\lang \nabla f(x_k),y-x_k\rang\)得到\(f(y)-f(x_k)\geq\dfrac{1}{\eta}(D_g(y,x_{k+1})-D_g(x_k,x_{k+1})-D_g(y,x_k))\)。分析可得，如果\(f\)是\(D_g\)意义下\(L\)-Lipschitz的， 那么如果迭代\(T\)轮则可以取\(\eta=\dfrac{2}{L}\sqrt{\dfrac{R}{T}}\)，那么有\(f(x_k)\leq f(x^*)+L\sqrt{\dfrac{R}{T}}\)；如果\(f\)是\(L\)-smooth且\(g\)是\(\sigma\)-强凸的（两者的范数必须是同一个，但形式可以自选，这是Mirror Descent优势），那么假设\(D_g\)有上界\(R\)，那么取\(\eta=\dfrac{\sigma}{L}\)运行\(T\)轮有\(f(x_k)\leq f(x^*)+\dfrac{LR}{\sigma T}\)。