2026年5月6日
摘要: 从 305 GB 到 7.4 GB:大模型 KVCache 架构演进全景 本文已于 2026.05.06 发表于公众号和知乎。 五一本打算更新一年前写的开源引擎 KVCache 实现文档,但梳理下来发现,光是 KVCache 演进的理论部分就已足够撑起一篇独立文章。在 Agent 改变搜索习惯、重塑软件行业的今天,多轮交互带来的长上下文让 KVCache 持续膨胀,显存瓶 阅读全文
posted @ 2026-05-06 17:46 -银光- 阅读(6725) 评论(1) 推荐(28)