2025年1月23日
记忆层增强的 Transformer 架构：通过可训练键值存储提升 LLM 性能的创新方法
摘要： 大语言模型（LLM）通过其参数储存了大量信息，这些信息主要以密集层中线性矩阵变换的权重形式存在。然而，参数规模的扩大必然导致计算成本和能源消耗的显著增加。 这种参数存储方式是否可以通过更高效的键值查找机制来优化？ 尽管此前已有多项相关研究，但在当前 AI 架构规模下的实践尚属首次。 Meta 研究团 阅读全文
posted @ 2025-01-23 10:05 deephub 阅读(81) 评论(0) 推荐(0)