2018年9月29日
神经网络优化方法总结：SGD，Momentum，AdaGrad，RMSProp，Adam
摘要： 1. SGD Batch Gradient Descent 在每一轮的训练过程中，Batch Gradient Descent算法用整个训练集的数据计算cost fuction的梯度，并用该梯度对模型参数进行更新： 优点: cost fuction若为凸函数，能够保证收敛到全局最优值；若为非凸函数， 阅读全文
posted @ 2018-09-29 23:06 理想几岁 阅读(6766) 评论(0) 推荐(0)