关于RNN和LSTM

今天把李宏毅老师的视频又看了一遍。为了以后能够快速回顾，写下自己的理解。

RNN诞生的原因是对NN的一种补充，因为当时候在做NLP的时候，一句话中的关键字可能相同但意思完全不一样。

“从北京到上海。”

“离开北京去上海。”

这俩句话都出现了“北京”和“上海”。但是表达的意思完全不一样，因此除了考虑这些关键字，我们还需要考虑关键字前面的部分。RNN因此应用而生，Recurrent Neural Network。直译过来就叫回归性神经网络。

简单的来说是通过一个记忆neuron，来记录数据前端的部分。让前端能够影响后端。记忆neuron会储存hidden layer里面的值。然后把这个值也作为下一次的输入。

 

LSTM就是RNN的一个变种，再加上3个gate。分别控值输入neuron，记忆neuron，输出neuron。

 

变化成下面的形式，其中四个Z是由输入X变化的向量。分别作为输入和三个gate的输入。

 

连起来就长下面的样子，还有更复杂的形态，如果要了解到时候去看视频。

 

 

图片都是从李宏毅老师这个视频截图下来的。