2025年2月5日
LLM中的归一化方法和位置
摘要： LLM常见归一化方法 LayerNorm 在早期的研究中，批次归一化(Batch Normalization, BN)是一种广泛采用的归一化方法。然而，该方法难以处理可变长度的序列数据和小 批次数据。因此，相关研究提出了层归一化这一技术 ，针对数据进行逐层归一化。具体而言，层归一化会计算每一层中所有 阅读全文
posted @ 2025-02-05 17:45 AI_Engineer 阅读(272) 评论(0) 推荐(0)