2023年7月24日
RoPE
摘要： [TOC] > [Su J., Lu Y., Pan S., Murtadha A., Wen B. and Liu Y. RoFormer: Enhanced transformer with rotary position embedding. ](http://arxiv.org/abs/21 阅读全文
posted @ 2023-07-24 17:38 馒头and花卷 阅读(354) 评论(0) 推荐(0)
Root Mean Square Layer Normalization
摘要： [TOC] > [Zhang B. and Sennrich R. Root mean square layer normalization. NIPS, 2019.](http://arxiv.org/abs/1910.07467) ## 概 RMSNorm 节省时间. ## RMSNorm - 阅读全文
posted @ 2023-07-24 10:44 馒头and花卷 阅读(1794) 评论(2) 推荐(0)