2017年12月18日
各种优化方法总结比较(sgd/momentum/Nesterov/adagrad/adadelta)
摘要： 前言 这里讨论的优化问题指的是，给定目标函数f(x)，我们需要找到一组参数x，使得f(x)的值最小。 本文以下内容假设读者已经了解机器学习基本知识，和梯度下降的原理。 Batch gradient descent 梯度更新规则: BGD 采用整个训练集的数据来计算 cost function 对参数 阅读全文
posted @ 2017-12-18 16:13 Qniguoym 阅读(10112) 评论(0) 推荐(0)