会员
周边
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
码林拾遗
博客园
首页
新随笔
联系
订阅
管理
2026年9月27日
缓存命中的成本错觉:为什么加了缓存,账单反而涨了
摘要: 「加缓存能省钱」是性能优化的铁律。但在 LLM 应用里,我们见过相反的案例:加了缓存,账单反而涨了。今天拆这个反直觉现象——Jev 效应在缓存上的变体。 案例回放 一个文档问答功能,上线了「相同问题直接回缓存答案」的策略。逻辑没问题,缓存命中率 40%——理论上省 40% 的推理成本。一个月后对账:
阅读全文
posted @ 2026-09-27 09:43 吴键WJ
阅读(12)
评论(0)
推荐(0)
公告