公开课回顾|提示词自我迭代进化:从静态 Prompt 到可进化系统
关注 霍格沃兹软件测试开发 公众号,回复「资料」, 领取人工智能测试开发技术合集
课程回放领取:本次公开课回放已整理,领取方式见文末。
本次公开课的核心主题是“提示词自我迭代进化”。虽然课程最后还有一个演示没有完全跑完,但整体方法论已经讲清楚:重点不是一次写出完美提示词,而是让提示词在训练、评估、反馈中不断更新,最终形成可迭代、可回归、可版本化的提示词资产。本文重点回顾技术部分。
一、为什么要做提示词自我迭代?
在 AI+测试场景中,提示词往往要承担用例生成、脚本辅助、日志分析、缺陷总结等任务。单条静态提示词很容易遇到问题:
输出不稳定,同一类任务结果波动大;
约束容易遗漏,模型自由发挥;
上下文不足,模型理解偏差;
输出格式不统一,后续难以自动化处理;
任务一复杂,提示词就“带不动”。
因此,提示词不能只靠手写,而应该像代码一样被训练、评估和迭代。课堂中提到的“自我迭代进化”,本质就是建立一套闭环:让提示词在反馈中变好,而不是靠感觉改。
二、技术主线:提示词自我迭代闭环
从课堂思路看,提示词自我迭代进化的核心流程可以概括为:
初始提示词 → 执行任务 → 收集结果 → 评估反馈 → 诊断问题 → 改写提示词 → 回归验证 → 新版本 → 继续迭代
这个闭环中,最关键的不是“改写”本身,而是“评估”和“回归”。没有评估,就不知道改得好不好;没有回归,就可能改好一个场景、弄坏另一个场景。
三、关键步骤拆解
- 建立提示词基线
先写出一版能跑通的提示词,作为基线版本。基线不要求完美,但必须包含基本要素:
角色:模型以什么身份执行任务;
目标:要解决什么问题;
输入:任务上下文、数据、约束;
步骤:是否需要分步思考或分阶段执行;
输出格式:字段、结构、模板;
边界条件:不能做什么、遇到异常怎么处理。
这一版提示词的作用,是让后续迭代有参照物。
- 执行与采样
用基线提示词执行任务,收集输出结果。这里不能只看一次结果,而要观察同一提示词在不同输入下的表现。重点记录:
哪些场景稳定通过;
哪些场景偶发失败;
哪些场景完全不可用;
失败是模型能力问题,还是提示词表达问题。
3. 评估与反馈
评估是自我迭代的核心。课堂中虽然没有展开完整评估系统,但方法论上可以理解为:为提示词建立测试集和评分标准,用人工评估或自动评估给输出打分。
常见失败类型包括:
指令模糊:模型不知道要做什么;
约束缺失:输出超出要求;
上下文不足:模型缺少必要信息;
格式错误:输出无法被程序解析;
示例不匹配:few-shot 示例与当前任务不一致;
任务拆分不合理:一步要求太多,模型顾此失彼。
只有把失败类型定位清楚,改写才有方向。
- 诊断与改写
针对失败类型,提示词可以分层修改:
指令层:明确任务、拆分步骤、增加约束;
上下文层:补充背景知识、边界条件、参考示例;
输出层:规定 JSON、表格、字段、校验规则;
反思层:让模型自检、自我批判、给出修改建议;
组合层:用多提示词协作,规划、执行、检查分离。
课堂中“部分写的提示词”已经共享出来,等训练完成之后还会再更新一版。这说明提示词不是一次性产物,而是持续演进的版本。
- 回归与版本化
每次修改提示词后,不能只测新场景,还要用同一套测试集回归旧场景。推荐做法:
记录每次提示词版本;
保留旧版本,方便对比;
每次尽量只改一个维度;
用测试集比较新旧版本通过率;
防止“修好一个,坏掉一片”。
这样,提示词才能像代码一样可管理、可回滚、可迭代。
- 自动/半自动进化
进一步,可以让模型参与提示词优化:根据失败案例生成改进候选,再由评估器打分,最后由人工审核合并。课堂最后提到的“训练完成之后,再更新一版提示词”,本质上就是这种思路:先跑训练,再根据结果更新提示词版本。
但要注意,自动进化不等于完全放任模型改写。必须有评估器和人工兜底,否则提示词可能越改越偏。
四、学习路径建议
如果想按这套方法提高自己,可以按以下顺序推进:
先复现课堂提示词,跑通基线;
为任务建立一组覆盖典型场景的测试用例;
记录失败输出,归类失败原因;
针对失败原因改写提示词;
做新旧版本回归对比;
固化稳定版本,再继续下一轮迭代。
五、课程回放领取
本次公开课回放已整理。需要领取的同学可扫描下方二维码领取。

结语
提示词自我迭代进化的重点,不是“写一条神级 Prompt”,而是建立一套可执行、可评估、可回归、可版本化的闭环。先掌握思路,再持续训练,最后更新出更好的提示词版本。按照这个思路去学习、去提高,就能逐步造出真正可用的 AI+测试能力。
关于我们
霍格沃兹测试开发学社,隶属于 测吧(北京)科技有限公司,是一个面向软件测试爱好者的技术交流社区。
学社围绕现代软件测试工程体系展开,内容涵盖软件测试入门、自动化测试、性能测试、接口测试、测试开发、全栈测试,以及人工智能测试与 AI 在测试工程中的应用实践。
我们关注测试工程能力的系统化建设,包括 Python 自动化测试、Java 自动化测试、Web 与 App 自动化、持续集成与质量体系建设,同时探索 AI 驱动的测试设计、用例生成、自动化执行与质量分析方法,沉淀可复用、可落地的测试开发工程经验。
在技术社区与工程实践之外,学社还参与测试工程人才培养体系建设,面向高校提供测试实训平台与实践支持,组织开展 “火焰杯” 软件测试相关技术赛事,并探索以能力为导向的人才培养模式,包括高校学员先学习、就业后付款的实践路径。
同时,学社结合真实行业需求,为在职测试工程师与高潜学员提供名企大厂 1v1 私教服务,用于个性化能力提升与工程实践指导。

浙公网安备 33010602011771号