2022年6月22日
位置编码（PE）是如何在Transformers中发挥作用的
摘要： 在人类的语言中，单词的顺序和它们在句子中的位置是非常重要的。如果单词被重新排序后整个句子的意思就会改变，甚至可能变得毫无意义。 Transformers不像LSTM具有处理序列排序的内置机制，它将序列中的每个单词视为彼此独立。所以使用位置编码来保留有关句子中单词顺序的信息。 什么是位置编码？ 位置编 阅读全文
posted @ 2022-06-22 11:44 deephub 阅读(143) 评论(0) 推荐(0)