2021年11月29日
神经网络学习率过大导致损失率上升以及loss固定现象解释
摘要： 一、loss固定的原因: 当输入变量都比较大时，反向传播时梯度值较小使loss无法收敛。 二、学习率过大，损失值上升。 由于平方损失函数是一个二次函数，所以当学习率大时步长大，导致神经网络越迭代损失值越大。 阅读全文
posted @ 2021-11-29 21:26 祥瑞哈哈哈 阅读(2656) 评论(0) 推荐(0)