2024年6月12日
用 KV 缓存量化解锁长文本生成
摘要： 很高兴和大家分享 Hugging Face 的一项新功能: KV 缓存量化 ，它能够把你的语言模型的速度提升到一个新水平。 太长不看版: KV 缓存量化可在最小化对生成质量的影响的条件下，减少 LLM 在长文本生成场景下的内存使用量，从而在内存效率和生成速度之间提供可定制的权衡。 你是否曾尝试过用语 阅读全文
posted @ 2024-06-12 18:23 HuggingFace 阅读(1130) 评论(0) 推荐(1)