2021年12月19日
理解SGD-随机梯度下降法，以及和BP算法之间的联系
摘要： 1、首先根据loss函数对各个需要优化的参数（也就是权重，下同）求偏导，也就是求梯度表达式，最终得到各个参数的梯度表达式； 2、开始对模型进行训练时，首先应初始化参数，将初始化之后的参数以及第一个训练样本代入各参数各自的梯度表达式中，求出各个参数的变化值； 3、用原参数减去学习步长乘以变化值，得到新 阅读全文
posted @ 2021-12-19 22:03 咖啡陪你 阅读(367) 评论(0) 推荐(0)