摘要： self—attention 自注意力机制 一、输入 在学习自注意力机制之前，我们学到的神经网络的输入都是一个向量，输出可能是一个数值或者是一个类别。 1.举个例子。假设输入的向量是一排向量，而且输入的向量的数目是会改变的， 最简单的输入长度会改变的向量就是文字处理，假设我们的输入是一个句子的话。 阅读全文