2022年4月13日
优化算法小结
摘要： 1.设计原理 采用的原理是梯度下降法，即最小化目标函数 J，最优化的求解过程，首先求解目标函数的梯度 ，然后将参数向负梯度方向更新，学习率表明梯度更新的步伐的大小，最优化的过程依赖的算法称为优化器，可以看出深度学习优化器的两个核心是梯度与学习率，前者决定参数更新的方向，后者决定参数的更新程度。 优化 阅读全文
posted @ 2022-04-13 16:08 Dr_Zhou 阅读(167) 评论(0) 推荐(0)