Lex个人随想乡

摘要： 1. KV 缓存是什么？ KV 缓存（KV Cache）是一种优化大语言模型（LLM, Large Language Models）推理速度的关键技术。最近爆火的DeepSeek，其首创的MLA技术，使得KV Cache降低了93%，在大语言模型的训练和推理上有效降低了对高性能GPU的性能要求（比如 阅读全文