2025年12月9日
LMCache：基于KV缓存复用的LLM推理优化方案
摘要： LLM推理服务中，（Time-To-First-Token） 一直是个核心指标。用户发起请求到看见第一个token输出，这段时间越短体验越好，但实际部署中往往存在各种问题。 LMCache针对TTFT提出了一套KV缓存持久化与复用的方案。项目开源，目前已经和vLLM深度集成。 https://avo 阅读全文
posted @ 2025-12-09 19:27 deephub 阅读(7) 评论(0) 推荐(0)