摘要：
attention 在正式开始探索attention之前，首先了解一下seq2seq。循环神经网络只能将一个序列信号转换为定长输出，但Seq2Seq可以实现一个序列信号转化成一个不定长的序列输出，因此seq2seq模型应用广泛，可以应用于很多不对等输入输出的场景，比如机器翻译，文本摘要，对话生成，诗 阅读全文
摘要：
LSTM提出背景 LSTM缓解了RNN中梯度消失的问题，使其可以处理长短时序列，但是需要注意的是LSTM并没有彻底解决梯度消失的问题。LSTM被各大科技公司应用在文字翻译，语音识别等方向，因为其相比RNN，在各个应用场景上带来了比较大的效果提升。 LSTM经过千锤百炼才有了现在的形态，so，让我们开 阅读全文