LLM 应用的降级艺术：不是所有请求都配得上最大的模型

做 AI 应用半年后，我们最大的成本优化不是换便宜的 API，而是建立了一套「降级路由」：每个请求进来，先回答一个问题——它配得上多大的模型？

三级路由的心智模型

第一级：规则能解决的不上模型。格式转换、正则能抽的字段、白名单映射——这些请求占了流量的两三成，token 成本为零。判断标准很简单：输入到输出的映射是确定的吗？ 是，就走规则。

第二级：小模型够用的别用大的。分类、抽取、简单改写——7B 级和旗舰级的差距在 5% 以内，价差在 10 倍以上。做法是拿 100 条真实流量做评测集，小模型过了线就切过去。这条评测集同时是回归防线，模型一换重跑一遍。

第三级：旗舰模型用在刀刃上。复杂推理、长文翻译、歧义消解——这些场景旗舰模型的溢价是真价值。而且第三级内部还有一档：同一任务首次生成用旗舰，用户只改了个标点的重新生成走缓存或小模型。

阈值不是拍脑袋

路由的关键参数（置信度阈值、长度分界）不能拍脑袋定。我们的做法：按「决策点」记账——每个请求记录走了哪级路由、结果被用户接受/修改/重试的比例。修改率异常升高的那级路由，就是阈值定松了的地方。账记清楚，阈值自己会浮出来。

降级的体验保护

降级最大的风险不是质量，是「用户感知到了降级」。两个保护：一是全链路统一超时和重试体验（用户分不清你用了什么模型，只感觉得快不快、对不对）；二是质量兜底——低级路由的结果过一道廉价校验（规则或小模型判分），不过关自动升级重跑。

结语

「全用最好的模型」是原型期的特权，产品化之后，降级路由才是成本和质量的平衡器。先让规则干活，再让小模型干活，最后才轮到旗舰——让每个 token 都花在配得上它的地方。