不积跬步无以至千里

摘要： 多头自注意力机制计算示例 多头自注意力机制计算示例 1. 输入序列和权重矩阵 假设输入序列 X 如下： X [1, 0, 1, 0] [0, 1, 0, 1] [1, 1, 1, 1] 我们有两个头，分别对应的权重矩阵如下： 头 1 WQ(1)WK(1)WV(1) [1, 0] [1, 0] [1, 阅读全文

摘要： 自注意力机制示例 自注意力机制示例 1. 输入序列 假设我们有一个简单的输入序列，包含三个词（向量表示），每个词的维度是4： x1x2x3x4 词1 1 0 1 0 词2 0 1 0 1 词3 1 1 1 1 2. 查询（Q）、键（K）和值（V）矩阵 我们定义查询、键和值的权重矩阵如下： QKV 权 阅读全文