RNN --> LSTM(Long short-term memory)

RNN

存在梯度消失/爆炸问题，但该问题在神经网络中均存在。
通用的解决方案：1）添加更多地直连接。2）添加残差网络

from cs224 2021 lecture06 fancy-rnn page 49

LSTM

来自维基百科
LSTM解决问题：在依然解决序列问题的基础上，把RNN的「乘法模型」替换为「加法模型」