霍格沃兹测试开发学社

《Python测试开发进阶训练营》(随到随学!)
2023年第2期《Python全栈开发与自动化测试班》(开班在即)
报名联系weixin/qq:2314507862

Google公开Agent Quality Flywheel:为什么改Prompt的模型不能同时当裁判?

关注 霍格沃兹软件测试开发 公众号,回复「资料」, 领取人工智能测试开发技术合集

团队让AI分析失败用例、修改Prompt,再让同一个AI重新评分。报告显示:通过率提高了,问题解决了。

但上线后,用户仍然遇到同样的错误。

原因可能并不复杂:负责修改答案的模型,也知道裁判喜欢什么。它优化的不是用户体验,而是“怎样更容易拿高分”。如果连评分标准也由它临时解释,Agent质量飞轮很可能越转越快,却一直围着错误指标打转。

Google在Agent Quality Flywheel的工程实践中明确提出:优化器不能给自己的工作打分。提出修复方案的Coding Agent、自动优化器或开发者,与执行评测的Evaluator必须解耦。Google认为,如果优化器同时负责评分,就可能学会“游戏化指标”,而不是真正改善Agent。

这条原则看起来像一句常识,落到工程里却涉及数据、版本、Rubric、模型和审批权的完整隔离。

一、为什么同一个AI“既答题又阅卷”容易失真
假设一个客服Agent经常忘记用户在多轮对话中修改的新地址。你让模型做三件事:

分析失败Trace;
修改系统提示词;
判断修改后的回答是否更好。
模型非常容易在第三步沿用第二步的意图:既然刚刚加入了“优先使用最新地址”,它就更倾向于把新回答解释成已经遵守规则。哪怕最终地址仍然有歧义,评分也可能变得更宽松。

这不是模型“故意作弊”,而是评估上下文被污染了。优化器掌握了修改目标、预期方向和自己刚写出的方案,已经不再是独立裁判。

传统软件测试里,我们不会让开发代码在运行时偷偷修改断言。Agent系统同样需要把被测对象、测试数据和评分逻辑分开版本管理。

人工智能技术学习交流群
伙伴们,对AI测试、大模型评测、质量保障感兴趣吗?我们建了一个 「人工智能测试开发交流群」,专门用来探讨相关技术、分享资料、互通有无。无论你是正在实践还是好奇探索,都欢迎扫码加入,一起抱团成长!期待与你交流!👇

image

二、Google的五阶段飞轮,关键不在“自动”,而在证据链
Google把一次Agent质量迭代拆成五个阶段:准备数据、运行Agent生成Trace、评分、分析失败、针对性优化并重新比较。

很多人看到这里,会把重点放在“Coding Agent能自动帮我完成评测”。真正重要的其实是:每次优化都必须留下可比较的前后证据。

一个完整周期至少要固定这些对象:

测试集版本;
被测Agent版本;
优化前Prompt和优化后Prompt;
Grader版本与Rubric;
每个Case的原始Trace;
基线分数和候选分数;
失败类别及人工复核结果。
如果只保留“优化后分数更高”,却没有保留使用了哪套Case、哪个裁判、哪个Rubric,那么这次提升无法复验,也无法进入CI/CD门禁。

三、最小可行架构:两个角色、三份冻结资产
不使用Google平台,也可以复用这条原则。

系统先拆成两个角色:

Optimizer:读取失败证据,提出Prompt、工具或流程修改。
Evaluator:只读取冻结测试集和候选运行结果,独立给出判定。
同时冻结三份资产:

eval_dataset_v12.jsonl
grader_rubric_v5.yaml
baseline_agent_20260924.json
优化器可以看到失败样本,但不能修改正式测试集和评分规则。Evaluator可以读取新旧两个版本的匿名结果,却不应该知道哪一份是“优化后版本”,避免先入为主。

下面是一个简化的盲测流程:

def blind_compare(dataset, baseline_agent, candidate_agent, evaluator):
baseline_runs = run_suite(dataset, baseline_agent)
candidate_runs = run_suite(dataset, candidate_agent)

pairs = anonymize_and_shuffle(baseline_runs, candidate_runs)
verdicts = evaluator.grade(pairs, rubric_version="v5")

return reveal_versions_and_aggregate(verdicts)
这里有三个关键点:

新旧结果先匿名,再交给Evaluator;
两边使用同一份数据和同一版Rubric;
评分完成后才揭示版本并聚合。
这样能减少“我知道这是新版本,所以应该更好”的偏差。

四、不要用一个总分掩盖你真正想修的问题
Google原文用了一个很典型的多轮旅行Agent案例:用户在对话中途修改日期、酒店或人数,Agent内部状态可能已经更新,但最终回复仍然回显旧信息。

如果只看综合的多轮任务成功分,这个错误可能只是多个评分项中的一个,总分仍然不低。Google的做法是把“是否遵守用户最新修改”提升成独立的分类指标revision_honored,结果分为HONORED、IGNORED、PARTIAL和NO_REVISION。

第一次运行中,IGNORED占21%。加入针对性修复并重新运行同一套评测后,IGNORED降到5%。这是Google该案例的前后对比,不是所有Agent都能获得同样的改善。

这给测试团队一个重要提醒:如果这次改动只针对一个高风险行为,就必须为它建立稳定、单独的指标。一个会变化的综合Rubric适合观察整体健康度,却不适合证明某个具体缺陷真的被修好。

五、怎样判断“分数上涨”是真提升,不是讨好裁判
可以设置五道检查:

  1. 冻结集上涨,保留集也上涨
    正式测试集可以被优化器反复看到,久而久之会出现“刷题”。因此需要保留一批优化器从未见过的Holdout Cases。只有正式集和保留集都改善,才更像真实能力提升。

  2. 硬指标不退化
    开放式体验分提高的同时,工具参数正确率、禁止动作、最终业务状态等硬指标不能下降。不能用“回答更自然”抵消“订单号传错”。

  3. 换一个裁判仍能复现方向
    不要求两个LLM裁判分数完全一致,但改善方向应该大体一致。如果裁判A认为明显提升,裁判B认为明显退化,需要人工检查Rubric或样本。

  4. 人工盲评能看到差异
    抽取部分样本,让领域专家在不知道版本的情况下做成对比较。模型评分与人工完全背离时,先校准Evaluator。

  5. 失败类型真的发生迁移
    修复后不只是总分上涨,还应该看到目标失败类别减少。如果“忽略最新地址”没减少,只是其他容易项得分更高,这次优化没有击中问题。

可以把这些规则写成发布门禁:

def quality_gate(report):
return all([
report.target_failure_rate <= 0.05,
report.holdout_delta > 0,
report.hard_metric_regressions == 0,
report.human_agreement >= 0.8,
report.critical_safety_failures == 0,
])
阈值要根据业务风险设置,示例中的数值只用于展示结构,不能直接照搬成行业标准。

六、AutoRater也不是“真实答案机器”
Google同时提醒:AutoRater仍是基于模型的评分器。它可以从多轮对话中提取意图、动态生成Rubric、按标准检查Trace,并通过多次采样投票,但不等于绝对真相。

Google建议更信任多轮迭代之间的变化趋势,而不是把某一个单次分数当作绝对成绩;合成场景可以帮助团队冷启动,真实生产数据才会让评测循环越来越准确。

这说明“独立评分”只是第一步。Evaluator还需要:

自己的版本管理;
与人工标注的一致性校准;
对不确定样本给出Unknown或进入复核;
定期用新线上Case检查Rubric是否过时。
否则,独立裁判也可能是一个独立但错误的裁判。

七、测试团队可以先做的最小改造
如果你们目前已经在用AI自动改Prompt,可以先完成下面四项,不必立刻重建平台:

把“提出修改”和“执行评分”拆成两个独立任务;
将测试集和Rubric放进版本库,禁止优化流程自动改写;
每次比较使用相同Case、相同评分器和匿名的新旧结果;
为本次修复建立一个单独指标,并保留一组未曝光Case。
做完这些,团队至少能回答一个关键问题:这次分数变好,是Agent真的解决了问题,还是它只是更了解裁判想看什么。

Agent质量飞轮的价值不在于“AI自动优化AI”,而在于每一次变化都要经过一个独立、稳定、可复验的质量判断。速度可以交给Agent,裁判权不能一起交出去。

推荐学习
🔥【人工智能测试开发训练营】 从大模型、Agent、RAG,到AI测试工程化与企业落地实战

核心亮点:

✅ 大模型基础、Prompt工程、私有部署

✅ Agent架构、ReAct、LangGraph、多智能体、MCP工具链

✅ RAG/GraphRAG、知识库检索增强

✅ AI测试提效:需求解析、用例生成、自动执行、失败分析

✅ 测试智能体:Web/App/接口自动化、自然语言驱动执行

✅ LLM/RAG/Agent评测、企业案例、Dify/Coze/N8N工程化

适合:关注AI测试、测试开发、自动化、智能体的同学

扫码领取完整课程大纲 + AI测试开发学习路线👇

image

关于我们
霍格沃兹测试开发学社,隶属于 测吧(北京)科技有限公司,是一个面向软件测试爱好者的技术交流社区。

学社围绕现代软件测试工程体系展开,内容涵盖软件测试入门、自动化测试、性能测试、接口测试、测试开发、全栈测试,以及人工智能测试与 AI 在测试工程中的应用实践。

我们关注测试工程能力的系统化建设,包括 Python 自动化测试、Java 自动化测试、Web 与 App 自动化、持续集成与质量体系建设,同时探索 AI 驱动的测试设计、用例生成、自动化执行与质量分析方法,沉淀可复用、可落地的测试开发工程经验。

在技术社区与工程实践之外,学社还参与测试工程人才培养体系建设,面向高校提供测试实训平台与实践支持,组织开展 “火焰杯” 软件测试相关技术赛事,并探索以能力为导向的人才培养模式,包括高校学员先学习、就业后付款的实践路径。

同时,学社结合真实行业需求,为在职测试工程师与高潜学员提供名企大厂 1v1 私教服务,用于个性化能力提升与工程实践指导。

posted @ 2026-09-29 21:58  霍格沃兹测试开发学社  阅读(7)  评论(0)    收藏  举报