摘要： 概念 之前一直对“权重衰减”和“学习率衰减”存在误解，我甚至一度以为它们是同一个东西，以至于使用的时候感觉特别困惑。在优化器中使用了“权重衰减”，竟然发现模型的准确率下降了，假如它们是同一个东西，至少应该是学得慢，而不是学坏了。因此，专门查了一下资料，了解两者的区别，这篇随笔做一下记录。 权重衰减 阅读全文