10.1.2 查询,键和值
这里的键可以理解成\(x\),值可以理解成\(y\),也就是说每一个\(x\)都会对应一个\(y\)(在这个情形下,\(x\)和\(y\)都可以是向量,而且维度不一定相同);查询可以理解成一个我们想要预测的量\(z\),想要预测\(z\)的输出\(y\)是多少(注意\(z\)的维度不一定要与\(x\)一样,此时要用加性注意力);由于我们现在只有\(x\)与\(y\)的对应关系,所以我们可以通过找\(z\)与各个\(x\)的关系,得出\(z\)与各个\(y\)关系,从而获得各个\(y\)的一个加权平均和得到预测输出。至于怎么找\(z\)与各个\(x\)的关系,就是后面讲的加权平均和的权重系数的定义过程了

浙公网安备 33010602011771号