2024年12月30日
SCOPE：面向大语言模型长序列生成的双阶段KV缓存优化框架
摘要： Key-Value (KV)缓存已成为大语言模型(LLM)长文本处理的关键性能瓶颈。当前研究尚未充分关注解码阶段的优化，这一阶段具有同等重要性，因为： 1、对需要完整上下文的场景，预填充阶段的过度压缩会显著降低模型的推理理解能力 2、在长输出推理任务中存在重要特征的显著偏移现象 这篇论文提出SCOP 阅读全文
posted @ 2024-12-30 10:12 deephub 阅读(40) 评论(0) 推荐(0)