littlecc

摘要： Attention - 注意力机制 seq2seq是 Sequence to Sequence 的简写，seq2seq模型的核心就是编码器（Encoder）和解码器（Decoder）组成的 通过在seq2seq结构中加入Attention机制，是seq2seq的性能大大提升，先在seq2seq被广泛 阅读全文

摘要： RNN - Recurrent Neural Network RNN跟传统神经网络最大的区别在于每次都会将前一次的输出结果，带到下一次的隐藏层中，一起训练。也就是说，RNN前面所有的输入都会对未来的输出产生影响，就是把所有的输入都带到下一次 如下图，RNN中短期的记忆影响较大（如橙色区域），但是长期 阅读全文