摘要： 做 AI 应用半年后，我们最大的成本优化不是换便宜的 API，而是建立了一套「降级路由」：每个请求进来，先回答一个问题——它配得上多大的模型？ 三级路由的心智模型 第一级：规则能解决的不上模型。格式转换、正则能抽的字段、白名单映射——这些请求占了流量的两三成，token 成本为零。判断标准很简单：输 阅读全文

摘要： 440MB 端侧翻译模型开源之后，很多人把模型拉下来了。但「能跑」和「该用哪个量化版本」之间隔着一层——社区里量化格式碎片化严重（GGUF、ONNX、AWQ、GPTQ 各说各话），怎么选？别信榜单，自己测。给一套我常用的实测方法，半小时能跑完。 第一步：固定测试集，别用官方案例 准备三个「刁难型」样 阅读全文

摘要： 昨天说到本地离线翻译的三个工程门槛（术语、格式、资源），今天看到新变量：440MB 的端侧翻译模型开源了。这个体量意味着什么？手机能跑、老笔记本能跑、连树莓派都够——本地离线翻译的门槛第一次降到了「普通人也能装」的位置。 这值得展开讲讲：端侧模型成熟之后，前面三个门槛哪些会被抹平，哪些反而更陡。 被 阅读全文

摘要： 最近博客园上纯 C# 的本地翻译库（HyMT2Sharp）和本地 OCR 系列（SimdPaddleOCR）连续上热榜，「数据不出门」的离线翻译赛道明显在升温。作为在这条路上走了快两年的开发者，我乐见其成——但也想泼点冷水：从「模型能跑」到「产品能用」，中间隔着三个工程门槛，社区项目往往死在第二关。 阅读全文

摘要： 「AI 效率提升反而导致总用量暴涨」的 Jev 悖论讨论最近刷屏了。一边是「模型效率惊人提升」的欢呼，一边是「别吹了，拆开看就是工程优化」的泼冷水。两边我 都读了，作为写了十几年代码的后端，说三点两边都没展开的观察。 一、 rebound 不是 AI 时代的新闻，是软件史的老规律 编译器快了，没人写 阅读全文

摘要： 先说一次翻车。Spring Boot 2.x 升 3.x，我扫了一眼 Release Notes，觉得没什么大变更，直接升。然后整个工程编译炸红——javax.* 全线变 jakarta.*，凡是碰过 Servlet API、校验注解、持久化注解的地方一个都跑不掉。那天下午我干了件事：全局替换包名， 阅读全文