RNN&LSTM

RNN

• 概要：处理时间序列，句子，除了组成句子的每个单词，上下文的语境也很重要

可以采用$W_{xh}$和$W_{hh}$两个参数共享权值，h矩阵为模型的memory，从上图可以看出，随着时间序列的推移每一次权值的传递都与传递前的h矩阵相关联，也就实现了h做模型memory的作用了

总体来看，每次输入一个序列$X_{t}$,它的size是[5,3,100](5个单词，3个batch，100给feature)，每次输入权值向前传递的同时也会向自己传递(h-memeory作用)

展开结果如上图

每次得到的语境信息$h_{i}$，可以为h的任意一个，也可以是全部加权计算的$h_{w}$

公式推理