liangyming

摘要： 参考：一文看懂 LLaMA 中的旋转式位置编码（Rotary Position Embedding） 原理推导参考自上文，以下结合huggingface代码分析公式计算过程 1 旋转角度计算 计算公式如下，其中d为词嵌入维度，这部分和论文原文一样 \[\theta_j=10000^{-2(j-1)/ 阅读全文