RNN循环神经网络的理解

以下部分内容存在转载：

第一个词被转换成了机器可读的向量，然后 RNN 逐个处理向量序列。

处理时，RNN 将先前隐藏状态传递给序列的下一步。 而隐藏状态充当了神经网络记忆，它包含相关网络之前所见过的数据的信息。

让我们看看 RNN 的一个细胞，了解一下它如何计算隐藏状态。 首先，将输入和先前隐藏状态组合成向量， 该向量包含当前输入和先前输入的信息。 向量经过激活函数 tanh之后，输出的是新的隐藏状态或网络记忆。

 

激活函数 Tanh 用于帮助调节流经网络的值。 tanh 函数将数值始终限制在 -1 和 1 之间。

RNN适用于数据量较少，数据batch较短的例子中，对于batch较多，RNN无法对过去的特征进行记录，需要利用LSTM进行建模分析。RNN的优势是它内部的操作很少，但在适当的情形下（如短序列）运作的很好。 RNN 使用的计算资源比它的演化变体 LSTM 和 GRU 要少得多。

以上参考链接：https://blog.csdn.net/yingqubaifumei/article/details/100888147
后续会更新实例