摘要: 转自:https://blog.csdn.net/u012162613/article/details/44261657 正则化方法:防止过拟合,提高泛化能力 在训练数据不够多时,或者overtraining时,常常会导致overfitting(过拟合)。其直观的表现如下图所示,随着训练过程的进行, 阅读全文
posted @ 2018-08-16 20:20 chease 阅读(4805) 评论(0) 推荐(0)
摘要: 细节: 01) LSTM遗忘门偏置项初始化为什么比较大 参考:https://zhuanlan.zhihu.com/p/113109644 一、循环神经网络RNN RNN综述 https://juejin.im/entry/5b97e36cf265da0aa81be239 RNN中为什么要采用tan 阅读全文
posted @ 2018-08-16 17:10 chease 阅读(660) 评论(0) 推荐(0)
摘要: 转自: https://blog.csdn.net/qq_25737169/article/details/78847691 前言 本文主要深入介绍深度学习中的梯度消失和梯度爆炸的问题以及解决方案。本文分为三部分,第一部分主要直观的介绍深度学习中为什么使用梯度更新,第二部分主要介绍深度学习中梯度消失 阅读全文
posted @ 2018-08-16 17:02 chease 阅读(868) 评论(0) 推荐(0)