Convergence of Adam Under Relaxed Assumptions

目录

• 概
• 符号说明
• 思路

Li H., Jadbabaie A. and Rakhlin A. Convergence of adam under relaxed assumptions. NeurIPS, 2023.

概

本文探讨了 Adam 再较弱的假设下的收敛性. 作者的证明思路非常有趣, 虽然条件看着还是有些不对劲.

符号说明

• \(f(x)\), 非凸目标函数;
• \(f(x, \xi)\), \(\xi\) 是一些随机 source, 可用于模拟训练过程中的随机因素 (如 mini-batch sampling);

• 上述算法是 Adam 的完整流程, 需要注意的是, 这里的 \(\beta\) 在常规的实现中为 \(1 - \beta\).

思路

• 作者的证明思路是围绕:

  \[\tag{1} f(x_{t+1}) - f(x_t) \mathop{\le}\limits^{how?} -\frac{\eta}{4G} \|\nabla f(x_t)\|^2 + \frac{\eta}{\lambda} \|\epsilon_t\|^2, \]

  其中

  \[\epsilon_t = \hat{m}_t - \nabla f(x_t). \]

• 倘若我们能够假设 \(f\) 是 \(L\)-smooth 的, (1) 是可以容易证明的. 但是作者搞了一个 (\(L_0\), \(L_p\))-smooth 这个局部 smooth 的条件 (更弱一点). 从而需要证明在这个条件下有着类似 \(L\)-smooth 的性质, 文中 Section 5 和 Appendix B 都在讨论这一点.

• 有趣的是, 作者先假设 \(t \le \tau\) 下所需性质成立, 然后再证明 \(\tau = T + 1\) (通过反证法).

• 有了 (1), 剩下的难点在于如何 bound 住 \(\|\epsilon_t\|\), 更准确地说, 是如何次线性地 bound 住:

  \[\sum_{t=1}^T \|\epsilon_t\|^2. \]

  我们需要注意, 这里的难点在于:

  1. \(\hat{m}_t\) 是通过 \(f(x_t, \xi_t)\) 随机梯度得到的;
  2. 就是本身的误差积累如何能够保证次线性.

• 作者用概率上的方法 (Azuma-Hoeffding inequality) 证明了:
  

• 请注意我标黄的地方:

  1. 这是个概率上成立的结果;
  2. \(\beta T\) 不看 \(\beta\) 是线性增长的, 想要规避这一点需要保证 \(\beta\) 是一个很小的量. 事实上作者也这么做了.

• 下面是主要的结果:

• 感觉美中不足的点就是 \(\beta\) 的选择, 一定是一个非常非常小的值, 而且这个 \(\beta\) 取得小和常规的不一样, 是更倾向于平均的结果, 即相当于一般情况取个 \(0.999999\) 的感觉, 这个太不符合实际了. 而且 \(T\) 的这种取法也不妥当, 有点掩盖了真实的收敛速度.