seq2seq 笔记

https://github.com/bentrevett/pytorch-seq2seq

序列预测

降低数据压缩
alleviate some of the information compression

bidirectional RNN

获取 \(h_1-h_4\)的权重，具体可以看代码，实际上使用的是FC计算出来的。

利用attention,更加定制化

卷积的seq2seq，没有循环层，使用一维卷积，同时使用了attention机制，encoder decoder 的residual 机制不一样

注意padding的方式，避免信息泄露