2024年12月3日
设计位置编码
摘要： 设计位置编码 Gall 定律 一个有效的复杂系统通常是从一个有效的简单系统演化而来的 —— John Gall 本文将带你一步步探究 Transformer 模型中先进的位置编码技术。我们将通过迭代改进编码位置的方法，最终得出 旋转位置编码 (Rotary Postional Encoding, RoPE)，这也 阅读全文
posted @ 2024-12-03 22:15 HuggingFace 阅读(675) 评论(0) 推荐(0)