摘要: 一、随机梯度下降算法 之前了解的梯度下降是指批量梯度下降;如果我们一定需要一个大规模的训练集,我们可以尝试使用随机梯度下降法(SGD)来代替批量梯度下降法。 在随机梯度下降法中,我们定义代价函数为一个单一训练实例的代价: 随机梯度下降算法为:首先对训练集随机“洗牌”,然后: 下面是随机梯度下降算法的 阅读全文
posted @ 2019-03-21 19:49 NeoML 阅读(763) 评论(0) 推荐(0) 编辑