2024年7月17日
RoPE旋转位置编码代码实现梳理
摘要： RoPE 流程总结 & RoPE介绍 通过绝对位置编码起到相对位置编码的效果，寻找一个函数\(f, g\)，使得 \(<f_{q}\left(x_{m}, m\right), f_{k}\left(x_{n}, n\right)>=g\left(x_{m}, x_{n}, m-n\right)\) 阅读全文
posted @ 2024-07-17 15:53 幻影星全能的木豆 阅读(1567) 评论(0) 推荐(0)