摘要： 概括：RNN 适用于处理序列数据用于预测，但却受到短时记忆的制约。LSTM 和 GRU 采用门结构来克服短时记忆的影响。门结构可以调节流经序列链的信息流。LSTM 和 GRU 被广泛地应用到语音识别、语音合成和自然语言处理等。 1. RNN RNN 会受到短时记忆的影响。如果一条序列足够长，那它们将 阅读全文

摘要： 1. 什么是Dropout（随机失活） 就是在神经网络的Dropout层，为每个神经元结点设置一个随机消除的概率，对于保留下来的神经元，我们得到一个节点较少，规模较小的网络进行训练。 标准网络和dropout网络: 左边是简单的模型，右边是含有dropout的模型 l: hidden layer i 阅读全文