摘要：Sequence to Sequence Learning with Neural Networks 关键词：LSTM，Seq2Seq 📜 研究主题 采用深度神经网络DNN 使用LSTM，并翻转输入句子顺序提升性能 ✨创新点： 更换seq2seq中RNN单元为LSTM，有提升对长句子训练速度的可能 阅读全文

摘要：Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation 关键词：GRU、Encoder-Decoder 📜 研究主题 提出了Encoder-Decoder结构，采用两 阅读全文

摘要：Attention Is All You Need 关键词：Self-Attention、Transformer 📜 研究主题 设计仅基于注意力机制的网络Transformer Transformer仍然采用Encoder-Decoder结构，但脱离了Seq2Seq结构，不采用RNN或CNN单元 阅读全文

摘要：AlexNet 📜 研究主题 提出使用GPU进行模型训练 采用比LeNet更深的卷积层搭建模型 采用更大数据集ImageNet防止过拟合 ✨创新点： 采用ReLU激活函数对每个卷积层进行处理 加快梯度下降训练时间； Linear rectification function：f(x) = max( 阅读全文