Prompt 缓存的四种策略：从精确匹配到语义检索

自然语言理解、摘要生成、代码编写、逻辑推理，OpenAI 等厂商的模型把这些事情做得相当好。但是只有一个问题，那就是 “贵".尤其是在应用上了规模之后，API 调用费用的增长速度会让人心跳加速。

Prompt 缓存是应对这个问题最直接也最容易被忽视的手段。本文会从原理讲到实践，覆盖四种不同层级的缓存策略，配有代码示例和架构图。

LLM 的成本为什么涨得这么快

LLM API 的定价模型就三个维度：输入 Token 数（也就是 Prompt 长度）、输出 Token 数（响应长度）、调用次数。

比如FAQ 机器人、聊天式新人引导助手、内部开发者工具、AI 仪表板——这些应用有一个共同特征：大量重复或高度相似的 Prompt 被反复发送，而期望得到的回答几乎一样。

如果不做缓存的话，每次调用都要按量计费，那费用肯定就爆炸了。

 

https://avoid.overfit.cn/post/10623b71c58d425dae471f5333a54e4c