同一个commit下,一个测试既通过又失败,这就是不稳定测试的典型表现。它让人难以判断代码是否真的有问题,也消耗团队对测试结果的信任。最近我尝试用一个工具来识别这类测试,并借助AI做初步分析。
不稳定测试指的是在代码和测试本身没有变化的情况下,时而通过时而失败的自动化测试。表面上看它通过了,但隐患不小:团队可能开始忽略失败信号,真正的缺陷被掩盖;CI流水线因为重跑而增加时间和成本;长期下来,大家对测试套件的信心会被侵蚀。

工具的核心逻辑并不复杂。它接收JUnit XML格式的测试报告,这是多数测试框架的标准输出。解析时,每个测试结果会按测试名称和commit id分组。如果同一个commit下,同一个测试既有通过又有失败,就标记为不稳定。对于没有commit id属性的报告,或者被跳过的测试,工具会直接忽略,因为前者无法比较,后者不反映稳定性。
光有标记还不够,需要量化。工具会统计每个测试在多少个commit上运行过,以及其中多少个commit出现了既通过又失败的情况。不稳定分数就是后者除以前者。比如一个测试在10个commit上运行,其中3个commit表现不稳定,分数就是0.3。为了让分数可信,工具默认只考虑至少有5个commit数据的测试,并且分数达到0.1才判定为不稳定。这两个阈值都可以调整。

有了分数,就可以排序。排序结果会列出每个测试的分数、名称以及不稳定commit的数量。这样团队能快速看到哪些测试最需要关注。
基础功能完成后,我想到可以引入AI来辅助分析根因。为此,工具增加了报告生成功能,支持JSON、CSV和Markdown三种格式,其中JSON用于提供给AI代理。代理基于Strands Agents SDK构建,配置简单,模型选用Gemini,API密钥从环境变量读取。代理需要两个工具:一个负责按时间戳或时间段查找并读取JSON报告,另一个负责把分析结果保存为Markdown文件。调用代理时传入时间段参数,它就会输出一份分析报告。

AI分析给出的是可能的原因线索,不能替代人工判断。基础设施问题有时看起来也像不稳定测试,需要结合日志和上下文核实。

这个工具适合在团队中逐步推行。如果采用持续部署,每周运行一次比较合适;如果部署频率较低,比如每月一次,可以在每次部署时运行,对比历史数据看不稳定测试是否增加。AI分析是可选的,可以只使用打分和排序功能,隔一段时间再让代理做一次集中分析。
目前工具有一些限制。JUnit XML文件必须包含commit id和测试类名属性,否则无法正确分组。工具最初针对GitHub Actions设计,从工作流运行中获取这两个值,其他CI环境可能需要调整。已有的GitHub Actions工作流每周一运行,生成报告并上传为构件。如果要集成到自己的仓库,需要确保测试结果作为构件发布。另外,模型可以换成其他提供方,参考Strands Agents的模型提供方文档即可。

一个自然的延伸是把结果对接到Grafana这类报表工具,观察不稳定测试随时间的变化趋势。但在此之前,先让分数跑起来,比追求完美方案更重要。
同一个commit下,一个测试既通过又失败,这就是不稳定测试的典型表现。它让人难以判断代码是否真的有问题,也消耗团队对测试结果的信任。最近我尝试用一个工具来识别这类测试,并借助AI做初步分析。
不稳定测试指的是在代码和测试本身没有变化的情况下,时而通过时而失败的自动化测试。表面上看它通过了,但隐患不小:团队可能开始忽略失败信号,真正的缺陷被掩盖;CI流水线因为重跑而增加时间和成本;长期下来,大家对
浙公网安备 33010602011771号