2025年9月15日
减少KVCache
摘要： 减少KVCache：从MHA，MQA，GQA到MLA 参考链接 科学空间，苏神的blog 大模型推理加速：看图学KVCache 前言 也是终于到了稍微有一点时间的时候，也需要对看过的东西进行简单的总结了。这里就总结一下论文中最喜欢的attention，以及与KVCache之间的关系。 基础：什么是a 阅读全文
posted @ 2025-09-15 21:54 木木ちゃん 阅读(37) 评论(0) 推荐(0)