RNN的训练模式与Exposure Bias
摘要：
一 、RNN在训练过程中的问题 训练迭代过程早期的RNN预测能力非常弱，几乎不能给出好的生成结果。如果某一个unit产生了垃圾结果，必然会影响后面一片unit的学习。teacher forcing最初的motivation就是解决这个问题的。这就是所谓的RNN的曝光偏差Exposure Bias。 阅读全文
posted @ 2020-12-10 22:55 那抹阳光1994 阅读(761) 评论(0) 推荐(0)
浙公网安备 33010602011771号