笔记 李宏毅Transformer讲解
Hung-yi Lee李宏毅的课，没有废话，重难点都讲了，可以说是非常棒了
视频地址https://www.youtube.com/watch?v=ugWDIIOHtPA&ab_channel=Hung-yiLee
1. Seq2Seq采用RNN不能并行化，使用CNN代替RNN
例如CNN三角形选取旁边3个ai, 每个三角形（RNN）不需要等其他三角形计算完再计算，因此可以并行化
2. 记住有一种新的layer，叫做Self-Attention Layer，可以代替RNN
输入输出也与RNN一样，都是Sequence
biRNN虽然也可以获得全部输入信息，但是Self-Attention可以并行化啊
3. Self-Attention是怎么做的呢？
q, k其实都是a乘以一个矩阵
q, k是怎么用的呢？
q去与每一个k做点乘得到权重，除以sqrt(d)是为了消除点乘带来的常数放大
拿到权重系数alpha有什么用呢？
首先进行一个softmax
然后与每个v相乘，再相加，得到bi
同样的方法可以得到b2
这样b1, b2, b3, b4都能被并行的算出来
4. 将b1, b2, b3, b4的计算合成为矩阵计算
首先得到K, V, Q
计算alpha1系列：
同理可计算alpha2, alpha3，alpha4
A经过softmax得到bar(a)，
再将得到的系数矩阵与V相乘，得到bi，bi组成的矩阵记为O
整个过程如图：
反正最后就是几个矩阵乘法
5. Self-Attention的一个变形: Multi-head Self-Attention
n头机制就是n个W矩阵，得到n个q, k, v
这里以n=2为例
这样的话对于ai能得到两个bi，bi_1和bi_2
我们可以将两个bi concatenate（连接）起来 ，但是如果维度你不喜欢，乘以一个矩阵使它变成你想要的维度
Multi-head有什么好处呢？也就是为什么要做Multi-head?
有些head是看距离比较远的信息，有些head是看周围的信息，这样的话每个head都能学到一些信息
6. Position embedding为什么是与ai直接相加？
首先为什么需要position embedding？因为在做attention的时候不管是远处还是邻近都是同样的对待，同样的做attention，这样就失去了原有的位置信息
其次，位置和值相加，代表着什么？为什么能这么做？李宏毅提供了一个与原paper不一样的理解角度，最终得到的运算是一样的，但讲法不一样
如果对xi append 一个one-hot的位置编码，与矩阵W相乘，根据矩阵的分块乘法，这等于两者分开相乘再相加
这两部分其实就相当于ai和ei，所以在可以相加
下面是看不懂的W_p的可视化hhh
7. Self-Attention用于Seq2Seq是什么样子的..
传统的Seq2Seq：内部使用的RNN
使用Self-Attention后：就是用Self-Attention layer代替RNN layer
8. Transformer中的encoder和decoder详解
encoder: 包括Multi-head Attention层、Add层、Norm层
Multi-head Attention层得到的bi的维度，经过映射，和self-Attention是一样的；
Add层是有一个残差加入；
Norm层不是用的Batch norm而是Layer norm，Layer norm经常用于RNN中；
Feed forward层会对每个bi进行一些处理；
decoder: 与encoder相比，多的新结构是Mask multi-head attention，其实就是只用到前面已经生成的output来参与attention，这也很显然啊，还没有产生出来的东西怎么拿来用啊...
9. Attention visualization
在原始paper的最终版本附有一些可视化
两个word之间都会计算权重，weight越大线条越粗
有一个非常神奇的现象：Attention能准确的理解"it"，tired的时候it指向animal，wide的时候it指向了street，nb！！
再看看Multi-head Attention的可视化：展现不同的head的确关注到了不同的信息
10. Some Example Application
1) page2page: wiki文章生成wiki文章
没有transformer的做不了，因为Input有长达1e6个单词，RNN不能并行，训练起来太慢了
2）Universal transformer：将之前横轴是RNN，换成深度上是RNN
