LMCache：基于KV缓存复用的LLM推理优化方案

LLM推理服务中，（Time-To-First-Token）一直是个核心指标。用户发起请求到看见第一个token输出，这段时间越短体验越好，但实际部署中往往存在各种问题。

LMCache针对TTFT提出了一套KV缓存持久化与复用的方案。项目开源，目前已经和vLLM深度集成。