摘要:
LSTM只能避免RNN的梯度消失(gradient vanishing),但是不能对抗梯度爆炸问题(Exploding Gradient)。 梯度膨胀(gradient explosion)不是个严重的问题,一般靠裁剪后的优化算法即可解决,比如gradient clipping(如果梯度的范数大于某 阅读全文
posted @ 2019-06-14 17:06
未完待续z
阅读(543)
评论(0)
推荐(0)
2019年6月14日