2021年10月6日
梯度消失与梯度爆炸问题
摘要： 梯度消失、爆炸带来的影响 举个例子，对于一个含有三层隐藏层的简单神经网络来说，当梯度消失发生时，接近于输出层的隐藏层由于其梯度相对正常，所以权值更新时也就相对正常，但是当越靠近输入层时，由于梯度消失现象，会导致靠近输入层的隐藏层权值更新缓慢或者更新停滞。这就导致在训练时，只等价于后面几层的浅层网络的 阅读全文
posted @ 2021-10-06 16:39 别关注我了，私信我吧 阅读(283) 评论(0) 推荐(0)
Live2D