摘要： 摘要 本文概述了常见的梯度下降优化算法的不同变种，分析了初始化在优化过程中的重要性以及如何初始化，最后列举出不同优化算法的具体公式，计算过程。 优化概述 下面概述一下常见的优化算法，优化算法的核心是梯度下降，不同优化算法改进的地方在于梯度的方向和大小。可以将优化算法粗分为两大类，一类是改变方向的 M 阅读全文