2020 年 7月 11 日随笔档案 - 黎明程序员

2020年7月11日

摘要：目录梯度消失原因之一：激活函数梯度消失原因之二：初始化权重不同损失函数下RNN的梯度消失程度对比实践中遇到梯度消失怎么办？参考资料在实践过程中，RNN的一个缺点是在训练的过程中容易梯度消失。梯度消失原因之一：激活函数 sigmod的导函数峰值为0.25，由于反向传播的距离越长，连乘的小阅读全文

posted @ 2020-07-11 19:49 黎明程序员阅读(1215) 评论(0) 推荐(0) 编辑

黎明程序员

公告