nlp-简单连接lstm

多层Lstm结构图

 

单个Lstm的内部结构图

  这是t时刻LSTM的输入与输出：

  输入有三个：细胞状态C_t-1 ，隐藏层状态h_t-1 ，以及t时刻输入向量X_t  ；而输出有2个：细胞状态Ct，隐层状态ht。

  1。细胞状态Ct-1 的信息，一直在上面那条线上传递，t时刻的ht和Xt会对Ct进行适当修改，然后传到下一时刻。

  2.Ct-1会参与t时刻ht的计算。

  3.隐层状态 h t − 1 h_{t-1} ht−1​的信息，通过LSTM的“门”结构，对细胞状态进行修改，并且参与输出的计算。
  LSTM的门结构

  LSTM的门结构，简单来说，就是被设计出来的一些计算步骤，通过这些计算，来调整输入与两个隐层的值。

  比如

  首先是上面这几个黄色的图案，这东西代表一个“神经元”，也就是 w T x + b w^T x + b wTx+b的操作。区别在于使用的激活函数不同， σ \sigma σ表示sigmoid函数，它的输出是在0到1之间的， t a n h tanh tanh是双曲正切函数，它的输出在-1到1之间。