40个MCP工具塞给8B模型:选错工具的锅,八成不在模型
40 个 MCP 工具塞给 8B 模型:选错工具的锅,八成不在模型
前天在博客园看了一篇 MCP 网关的实现,引用了 RAG-MCP 论文的检索准确率数字(13.62% 提到 43.13%),我在评论区问了句「误选率多少」——这个数字没人给。因为选不出来(漏)和选错了(误)是两个完全不同的事故通道:漏了顶多报 NONE,误选是拿着错误的锤子直接砸你的生产库。
与其等人回,不如自己跑一轮。本机的 llama-server(qwen3-vl-8b,Q4_K_M,Vulkan)一直开着,正好拿来当被测路由。整个实验一个纯 Node 脚本,没任何框架。
实验设计
- - 40 个工具定义:仿一个 devops/office agent 的全家桶——文件系统 5 个、shell 3 个、MySQL 4 个、Redis 3 个、网络 2 个、git/CI 6 个、k8s 4 个、日志/监控 4 个、邮件/IM/日历/工单 5 个、杂项 4 个。描述都写得干净克制,一行一个。
- - 故意埋了近义干扰对:
shell_runvsshell_bg_start、db_queryvsdb_exec、mail_sendvsim_send、fs_search(找文件路径)vsfs_grep(搜文件内容)等 6 对。 - - 26 条用户查询:20 条词面贴合描述的常规请求 + 6 条「同义改写」(刻意绕开描述用词,比如把慢查询排查写成「把那些跑得磨磨蹭蹭的语句揪出来」)。
- - 4 种注入模式:
- full:40 个工具全量进上下文<br/> - bm25x8 / bm25x3:迷你 BM25(纯手写 40 行,k1=1.5,b=0.75,中文按字符 bigram 切)检索 top-8 / top-3 再注入<br/> - pair2:只给 gold + 它的干扰孪生 2 个工具(歧义对照组)
- - temp=0,让模型只回一个工具名,从输出里正则提取,解析不了记 UNPARSED。
先说 BM25 的召回上限(不叫模型,纯看检索能不能把 gold 工具捞进 top-k):
- - recall@3 = 14/26
- - recall@8 = 20/26,其中 q01/q05/q06/q10/r04 五条查询是零分命中(一个词都对不上,返回空列表)
没错,词面检索比我预想的脆得多。但这还不是最有意思的。
结果一:40 个工具全量注入,8B 根本没「迷路」
full 模式:25/26 = 96%,平均 prompt 905 token,平均 205ms。
唯一一发失手是 q05「在全代码库搜一下哪些地方引用了 deprecated_api」→ 选了 fs_search(按 glob 找文件路径)而不是 fs_grep(正则搜内容)。这是描述语义本身的近邻混淆,不是选项太多挑花眼。
pair2 对照组 6/6 全对。也就是说:40 个工具的规模下,干扰对歧义和选项规模都不是主要矛盾。900 token 的成本对一个常驻 agent 来说根本不算事。
结果二:上检索截断后,准确率掉到 57%——但锅全在检索层
bm25x8:23/26(88%);bm25x3:15/26(57%)。token 确实省了(905 → 200 → 143),代价呢?
把每一发的失败原因按「gold 工具在不在注入上下文里」拆开,结论干净得吓人:
- -
bm25x8错 3 发,bm25x3错 11 发——14 发的 gold 全都不在上下文里 - - 反过来,只要 gold 被检索捞进来了,模型选择 38/38 全对
也就是说这两个模式下模型一次都没选错过。掉下来的 31 个百分点,全部是 BM25 把正确答案挡在门外造成的。检索截断的准确率上限就是召回上限,模型再强也救不了不存在的选项。
更阴的是 gold 缺席时模型的表现:并没有老老实实报 NONE。14 发里只有 3 发输出 NONE,其余 8 发「自信误选」,而且专挑兄弟姐妹下手:
- - 「查 orders 表最新 10 行」(gold
db_query没进 top-3)→ 选了db_exec。一个只读意图被路由到写接口,这是真正要命的误选形态。 - - 「后台把 npm run dev 起起来」→ 选了
shell_bg_kill(起服务变杀服务) - - 「后台服务打印了什么错误」→ 选了
log_trace(ELK 链路追踪,风马牛不相及但词面沾边)
模型永远不会主动告诉你「正确工具不在列表里」,它会在错误的候选里给你挑一个最像的。这就是为什么网关光看端到端准确率没用,必须单独监控 gold 召回。
结果三:两个便宜的修复
修复 1:兄弟族补全。 检索命中 db_query 就必须把 db_* 全家带进上下文——读写配对、启动/日志配对是用户意图的天然链条,单点命中一个族工具往往说明整族都相关。top-5 检索 + 前缀族补全(上限 14 个)后:准确率 24/26(92%),平均只注入 8.3 个工具、263 token。比 bm25x8 召回更好、比 full 省 3.4 倍 token。
修复 2:别名表。 剩下的失手(「把 status 改成 active」→ db_exec、「通知到值班群里」→ im_send)都是词面零重叠:描述里写「执行写操作」,用户说的是「改成」;描述写「发送即时消息」,用户说的是「通知」。给检索文档加一行同义别名字段后,recall@5+族补全 26/26,零分命中清零。
这里还踩了个 tokenizer 的坑值得一提:第一版别名表我写的是单字——fs_read: "看 念 内容 读",加完毫无效果。因为中文 bigram 切词只产两字词元,单字别名全被静默吞掉,连个报错都没有。改成「查看」「念给」这类二字词后立刻生效。词法检索的每一层都是这种安静的失败。
工程上我会怎么做
- 1. 40 个工具这个量级,别急着上检索。 全量注入 96%、900 token,简单就是正义。工具过百、描述开始互相打架时再谈截断。
- 2. 上检索就单独监控 gold 召回@k。 端到端准确率会把「检索漏」和「模型错」搅在一起,出事故时你根本分不清该修 embedding 还是换模型。做法:给每个意图链留评测集,召回和选择分开算。
- 3. 检索文档 ≠ 工具描述。 描述是写给付费模型看的合同,检索文档是写给召回层吃的词料,要另养一份别名字段(或者直接上语义向量,词法召回对中文改写的天花板就在这)。
- 4. 读写成对的工具(query/exec、start/kill)是误选时最疼的位置。 族补全会把它们绑进来,所以宁可在描述里把「只读」「终止」写得更扎眼,或者干脆把危险接口从路由池里拆出去单独授权。
诚实注脚
- - gold 标注是我自己写的,描述也刻意写得干净;真实世界 100+ 工具、跨团队质量参差的描述下,full 模式的 96% 大概率守不住,别拿这个数字给自己上头。
- - 26 条查询是小样本,单发得失别过度解读;但 38/38 vs 0/14 这种断层式的对比,方向是可信的。
- - 实验用的 BM25 是 40 行玩具实现,换正式检索器召回会更好——但「零重叠改写句照样漏」这条规律跟实现关系不大,是词法方法的性质。
脚本在本地一共三个文件:工具集 26 条查询定义、40 行 BM25 + 四种模式跑批、族补全修复复测。全加起来不到 300 行,Node 标准库跑完约 90 次调用。这种实验的边际成本真的很低,建议每个上 MCP 工具集的团队都在自己的意图集上跑一发再决定要不要上检索网关。

浙公网安备 33010602011771号