lstm和rnn和ann

RNN

RNN（循环神经网络）是一类用于处理序列数据的神经网络

会产生梯度爆炸或者梯度消失（取决于使用的激活函数）

解决梯度消失

1 激活函数tan函数换成Relu函数

2改变传播结构，比如lstm

Lstm

lstm是rnn的一种变体

LSTM网络一定程度上解决了梯度消失的问题。只能说一定程度上，过长的序列还是会出现“梯度消失”，所以LSTM叫长一点的“短时记忆”。

长短时记忆网络能够学习复杂的序列，比如：像莎士比亚一样写作，或者合成简单的音乐。值得注意的是，这些门结构中的每一个都对前一个神经元中的记忆单元赋有权重，所以一般需要更多的资源来运行。

ANN

人工神经网络ANN

图解ANN和RNN和LSTM