拿本地 8B 当 LLM 裁判:评测集考了满分,才是最危险的信号

拿本地 8B 当 LLM 裁判:评测集考了满分,才是最危险的信号

上一篇用 promptfoo 跑回归评测被坑之后,我一直惦记着给评测再加一层 LLM-as-judge,让模型帮我给开放式回答打分。圈内都说裁判有各种偏见:位置偏见、长度偏见、自我偏好。与其引用别人的论文数字,不如拿自己机器上那个模型实测一把。

先说结论,有点反直觉:偏见我确实测到了,但不在位置上,在文风上;而这一轮最大的收获,是我发现自家评测集根本不及格。

实验设置

  • - 被测裁判:llama-server 跑本地 Qwen3-VL-8B(Q4_K_M 量化),temperature=0、seed=42(另设一组 0.8 做对照)
  • - 裁判提示词的 system 段写得很规矩:
你是严格的技术评审。对比两个回答针对问题的质量,只比较正确性和
信息量,不受长度、语气、格式影响;两者同样好或同样差时输出
{"winner":0}。只输出一行 JSON:{"winner":1} 或 {"winner":2} 或
{"winner":0}。不要解释。
  • - 每个答案对判两局:good 先放【回答一】判一次,再交换顺序判一次。位置偏见的探测器就是这个交换。

第一轮:教科书级硬伤,32 局全对

我写了 16 个问答对,坏答案全塞的是教科书级错误:把 volatile-lru 的行为安到 allkeys-lru 头上、说 CLOSE_WAIT 堆积是正常现象、说 change buffer 对唯一索引也有效……每处错误都够面试挂一次。

结果:16 对 × 2 局 = 32 局,全对。换位零改判,也没有任何一局选错。

我不死心,又加了个长度偏见实验:挑 7 对,给坏答案注水约 120 字的正确废话("这个问题要放到更大的架构视角去看""建议结合监控大盘和自身 SLA 渐进式决策"这类),坏答案瞬间比好答案长出一倍还多。

结果:14 局又是全对。长度偏见,没有。

对着满屏的 ✓ 我沾沾自喜了大概三分钟,然后反应过来:这评测集废了。一个裁判在评测集上拿 100%,说明它测的是"坏答案坏得够不够明显",而不是裁判的判别力。天花板效应——评测界的老词,轮到自己头上才真疼。

第二轮:细节级错误,20 局丢 1 分,丢的那局最有信息量

第二套 10 对,错误全改成"小坑"级别:版本号、层次归属、机制边界。举一个典型:

> 问:Redis 的 UNLINK 是干什么的?哪个版本引入的?<br/>> 好答案:异步删除,先从 keyspace 摘掉立即返回,内存回收交给后台线程。4.0 引入。<br/>> 坏答案:前半句一字不差,只把版本改成"6.0 随多线程 IO 一起引入"。

这局的判罚结果很有意思:正序(好答案在第一位)时裁判选了坏答案,交换顺序后反而选对了。

这不叫立场坚定的偏见——它是这个知识点本身在模型里就是虚的。同一个知识盲区,采样顺序换个方向,判罚就翻面。所以我给这套流程定了一条规矩:双向判定一致才采信;换位改判的对子标记"不确定"转人工,两局结果哪个都不能信。双向判定当"不稳定探测器"用,别当"纠错器"用。

第三轮:先抓到自己的 bug,再谈模型的偏见

下面这个实验差点把我自己骗了。

我想测"文风偏见":内容一字不改,把好答案机器改写成口语糙话版(是→系、避免→免得、句号后加"吧"……),让裁判对比。第一版跑出来:polished 版 12 局全胜。漂亮!偏见实锤!

准备记数据的时候多看了一眼改写函数的输出,发现里面有一行:

.replace(/([^)]*)/g, '')   // ← 这货把括号连内容整个删了

原文里"(Q8 换 Q4_K_M)"这种括号里全是干货。所谓"polished 全胜",一半是裁判在惩罚信息缺失,根本不是文风。测别人偏见之前,先对照组自检——这条以后写进我的评测验收清单。

修掉之后重跑,改写只动语气词和个别动词,信息零增删:

function messy(s) {
  return s.replace(/(/g, '(额')
    .replace(/是/g, '系').replace(/避免/g, '免得')
    .replace(/通常/g, '一般嘛').replace(/建议/g, '要我说')
    .replace(/。/g, ' 吧');
}

6 对 × 2 局的结果:polished 胜 9 局,平 3 局,糙话版 0 胜。

75% 的局被文风带偏,而且方向完全一边倒——没有任何一局偏好糙话版。别忘了 system 提示词里白纸黑字写着"不受语气、格式影响"。这话说给 8B 听,基本等于没说。

实际影响很具体:如果你的评测场景是给用户自由书写的回答打分(工单、评论、作文),写得随意的用户会被裁判系统性压低分。两个缓解办法:被判分的答案先归一化成统一文风再进裁判;或者给裁判喂锚点样例——放一条"口语但正确、应得高分"的 few-shot,比在指令里喊"不受语气影响"管用得多。

第四轮:自己 vs 自己,12/12 全平

最后一个对照实验:把完全相同的答案放两边,问裁判谁好。temp=0 跑 6 对,再 temp=0.8 跑 6 对。

结果:12 局全部输出 tie。没有"强制分出胜负",没有位置幻影,temp=0.8 的采样噪声也没能把平局打破。

这轮看着最无聊,其实最关键:它排除了"裁判只是随机/按位置破平局"的解释——上一轮 75% 的文风偏好是真实偏好,不是判定噪声。

复盘完我改了什么

  1. 1. 评测集设退役线:裁判在评测集上正确率超过 95%,这个评测集就该拿去对抗性加固(错误改成细节级),而不是拿来庆祝。
  2. 2. 双向判定 + 一致性过滤:换位改判 = 该样本转人工,这个信号本身就是"模型知识边界地图"。
  3. 3. 文风归一化:判主观质量前把答案洗成同一文风,或者给裁判锚点样例。指令里写"别受风格影响"不如样例演示"风格差但该给分"。
  4. 4. 事实细节不进裁判:版本号、默认值、参数序这类硬事实用 golden 清单断言,裁判只负责排序和比较。8B 裁判的知识边界就是这套评测的知识边界,它自己 UNLINK 版本号都飘,你让它批改版本号填空就是自虐。

写在最后

这轮实验最有价值的不是"75%"这个数字,而是两次"被骗":一次是评测集满分时我差点直接上线它;一次是我自己改写函数的 bug 差点被我写进文章当成模型偏见。怀疑裁判有偏见之前,先怀疑自己的对照组干不干净。

harness 就是一百来行的 node 脚本:拼提示词、双向调用、正则抠 winner、汇总统计。评测这件事,跑起来才知道水有多深。

posted @ 2026-11-15 10:17  Modelx  阅读(0)  评论(0)    收藏  举报