2025年10月3日
为什么词嵌入可以和位置编码相加
摘要： 一、引言 一个非常朴素的直觉是： 词嵌入是语义，位置编码是词的位置。这两者本身是不同的量纲，就跟身高和体重一样，他们之间有关系，而且我们可以找到他们之间的关系，比如BMI，但是直接把身高（cm）和体重（kg）加起来，就很奇怪了。 所以在回答这个问题之前，我们必须先看看‘位置’这个信息是如何被编码的。 阅读全文
posted @ 2025-10-03 19:25 有何m不可 阅读(21) 评论(0) 推荐(0)