2025年7月2日
多头注意力机制解读
摘要： 由于许多教程在讲解多头注意力机制的时候，只是单独地讲了将通道数分开的操作，并没有非常明确的讲出多头注意力机制与单头注意力机制的区别，这里通过一个简单的例子说明一下： 这里假设输入为3个token，每个token被编码为4维的向量，得到： a1,1 a1,2 a1,3 a1,4 a2,1 a2,2 a 阅读全文
posted @ 2025-07-02 11:50 爱露查 阅读(79) 评论(0) 推荐(0)