测试Agent的可复现一致性,指在相同输入、环境、配置下,Agent多次执行测试任务,输出用例、执行过程、缺陷判定、测试结论保持稳定一致的能力,是区别于普通大模型随机性的核心指标,评估可从基准设定、多维度指标、控制变量、判定规则四方面开展。
首先要搭建受控基准环境,固定所有无关变量。统一被测版本、网络、权限、依赖服务、Agent版本、提示词模板、模型参数、随机种子,每次任务的需求文档、前置条件、操作起点完全一致。排除环境抖动、接口波动、页面动态数据等外部干扰;对于本身存在不稳定bug的被测系统,提前标记flaky用例,避免把系统不稳定误判为Agent不一致。
其次设计分层评估指标。一是输出一致性:对比多次运行生成的测试点、用例步骤、断言、优先级划分,统计文本重合度、测试点召回差异,判断是否出现同需求下漏测、新增无关用例。二是执行一致性:自动化执行链路中,对比操作序列、元素定位方式、点击输入顺序,统计动作序列编辑距离,检查是否出现时而A路径、时而B路径探索。三是缺陷判定一致性:同一现象多次复现时,Agent是否稳定识别缺陷、给出相同严重等级与复现步骤,统计误报、漏报结果的波动频次。四是结论一致性:最终测试总结、风险判断是否稳定,避免相同场景下一次判定通过、一次判定存在阻塞问题。
然后设计评测集与统计方案。选取覆盖正常流程、边界、异常、模糊需求的测试用例集,每个样本在固定配置下重复N轮(一般 5~10 轮),计算一致性通过率、变异率。变异率越高,代表Agent随机性越强、可靠性越差。同时引入负面样例,验证Agent不会因为微小无关扰动就大幅改变测试策略。
最后配套人工复核与边界校验。指标仅作量化参考,人工核验差异样本,区分 “合理差异化探索” 和 “无逻辑随机变动”。测试 Agent 允许在探索性测试中有适度不同路径,但核心判定、基础用例、缺陷识别必须稳定。长期评估还需要持续监控版本迭代后的一致性退化情况,把可复现一致性纳入Agent回归基线,保障测试结果可信,减少人工复核成本。