Fork me on GitHub
2018年3月11日
什么是指数加权平均、偏差修正？
摘要： 指数加权平均 在深度学习优化算法中，例如Momentum、RMSprop、Adam，都提到了一个概念，指数加权平均，看了Andrew Ng的深度学习课程后，总结一下什么是指数加权平均。 式中v_t可近似代表1/(1-β)个θ的平均值。 偏差修正 由以上证明可以看出，每个最新数据值，依赖于以前的数据结 阅读全文
posted @ 2018-03-11 17:19 郭耀华 阅读(12852) 评论(1) 推荐(16) 编辑