10.6.3 位置编码

注意CNN也是有位置信息的，同一个卷积运算中可能没有位置信息，但是不同卷积运算由于窗口的移动，也是有位置信息的

正文的第一句话“在处理词元序列时，循环神经网络是逐个的重复地处理词元的， 而自注意力则因为并行计算而放弃了顺序操作。”的意思见10.6.1的博文。所以自注意力丢失了对序列固有顺序的显式依赖，需要通过其他方式（如位置编码）来补充位置信息

代码中“足够长”的意思就是字面意思，然后后面就可以切片来截取一部分，即X = X + self.P[:, :X.shape[1], :].to(X.device)
画的那个图的意思看了“绝对位置信息”就懂了
对于\(P\)，列数\(j\)越大，频率越低，也就是在模拟二进制表示中的更高位，所以\(P\)的每一行的值可以近似某一个数的二进制表示

为什么要看相对位置呢？实际上肯定是相对位置更重要一些，很简单的一个例子，比如说我们随意切分句子，都可以当做语言模型的输入。我们的模型学的就是\(w_j\)，所以用三角函数就很好