缓存命中的成本错觉：为什么加了缓存，账单反而涨了

「加缓存能省钱」是性能优化的铁律。但在 LLM 应用里，我们见过相反的案例：加了缓存，账单反而涨了。今天拆这个反直觉现象——Jev 效应在缓存上的变体。

案例回放

一个文档问答功能，上线了「相同问题直接回缓存答案」的策略。逻辑没问题，缓存命中率 40%——理论上省 40% 的推理成本。一个月后对账：推理成本没降反升 15%。哪里出了问题？

三个反直觉机制

1. 命中刺激了用量（Jev 回弹）：响应变快→用户问得更多→总请求量涨了 60%——单次省了，总量涨了，总账单涨。缓存的「省钱」效果，永远要除以用量弹性系数。

2. 缓存维护本身要花钱：缓存的相似度匹配（embedding 计算）、过期策略、存储——这些都是成本。低价值场景（长尾问题命中率 5%）的缓存，维护费比省下的推理费还高。

3. 错误答案进了缓存：早期版本的一条错误回答被缓存，之后两个月持续返回给用户——错误答案的缓存是负资产：省的是推理费，赔的是信任修复成本（客服+重答+口碑）。后来我们给缓存答案加了「版本标记」，模型升级批量失效。

正确的缓存姿势

1. 只缓存高频+稳定问题：头部 20% 的高频问题命中率高、收益确定；长尾问题缓存维护成本高于收益，放过
2. 答案带版本戳：模型/知识库升级时批量失效，别让旧答案变毒药
3. 缓存预算单独记账：embedding 成本+存储成本+失效管理，和省下的推理费并排看——净节省为正才保留
4. 警惕用量回弹：缓存上线后观察 4 周总账单，而不是单次成本——省不省，总账说了算

结语

Jev 敏感的团队会问「加了缓存用户行为变了吗」——这才是正确的问法。缓存的收益从来不是命中率，是净节省。命中率 90% 但总量翻三倍的业务，和命中率 30% 总量稳定的事业，后者的缓存更健康。