摘要: 梯度下降的各种优化算法下面参考文献表述都很全面了,不在赘述,主要谈谈个人理解 其实对SGD的优化,跟自动控制中的PID思路其实是一样的 P(Propotion)比例项即当前偏差 I(Intergration)积分项即偏差的累积 D(differentiation)微分项即偏差的变化 SGD加入微分项 阅读全文
posted @ 2020-01-27 18:30 jhc888007 阅读(312) 评论(0) 推荐(0) 编辑