摘要:
概括:RNN 适用于处理序列数据用于预测,但却受到短时记忆的制约。LSTM 和 GRU 采用门结构来克服短时记忆的影响。门结构可以调节流经序列链的信息流。LSTM 和 GRU 被广泛地应用到语音识别、语音合成和自然语言处理等。 1. RNN RNN 会受到短时记忆的影响。如果一条序列足够长,那它们将 阅读全文
posted @ 2019-03-17 17:23
nxf_rabbit75
阅读(2712)
评论(0)
推荐(0)
摘要:
1. 什么是Dropout(随机失活) 就是在神经网络的Dropout层,为每个神经元结点设置一个随机消除的概率,对于保留下来的神经元,我们得到一个节点较少,规模较小的网络进行训练。 标准网络和dropout网络: 左边是简单的模型,右边是含有dropout的模型 l: hidden layer i 阅读全文
posted @ 2019-03-17 13:33
nxf_rabbit75
阅读(2229)
评论(0)
推荐(0)