LSTM网络的理解

• LSTM

　　LSTM译为长短期时间记忆网络，解决序列问题中RNN无法提供长期依赖的问题。

　　

 　　　　　　　　　　　　　　　　　LSTM网络结构图

　　1）LSTM单元从左往右分别是：遗忘门(forget)。函数来决定原细胞被遗忘多少，经过一个sigmoid激活函数后取值0~1，×即可决定遗忘值。

　　　　　　　　　　　　遗忘门

 　　2）输入门。首先和通过输入门的来决定更新的信息，然后通过tanh激活函数来更新。

 　　　　　　　　　　　　　输入门

　　然后通过和将更新为，进入下一个LSTM单元。

 　　3）输出门。更新好细胞状态后，LSTM根据输入的和决定输出的值，输入值先通过sigmoid来判断，然后通过一个tanh得到一个-1~1之间的向量，将向量与sigmoid值相乘即为输出值。输出值分为两份，一份传入下一个LSTM单元，另一份做为该LSTM单元的输出。

    　　　　　　　　　　　输出门