as火柴人

摘要： https://zhuanlan.zhihu.com/p/29895933 momenta算法： 学习率的衰减：在学习初期 ，学习率较大的时候，步伐大，下降快；但是在将近收敛的时候，学习率变小，这样可以保证在最低点附近浮动。 公式：学习率衰减公式：超参数：衰减指数decay_rate，a0 其他可以 阅读全文