当前位置:泽众软件测试网- 技术文章 -正文

AI测试的稳定性不足具体有哪些表现?

发布时间:2026-07-14   阅读次数:73

一、操作路径不稳定(同一用例,每次跑流程不一样)
场景:你下达目标「完成用户下单」
每次选择不同控件
页面多个相似按钮(立即购买、加入购物车、弹窗确认),本次 A 路径成功,下次 AI 选了 B 按钮触发分支流程。
现象:第一轮正常下单;第二轮误点收藏,流程中断。
操作顺序随机变化
比如正常:选商品规格→填写地址→提交订单
AI 某次变成:先修改地址,再选择规格,触发前端特殊校验,流程报错。
随机跳过可选步骤
优惠券、弹窗、协议勾选,有时候 AI 主动关闭弹窗,有时候忽略弹窗直接操作,执行链路不一致。
关键危害:相同测试目标,无法稳定复现同一业务流程,不适合做标准回归门禁。
 
二、元素识别不稳定(视觉 / 语义识别漂移)
传统自动化依靠固定选择器 id/class/xpath;AI 大多依靠视觉、文本语义识别。
文本细微变化导致识别失败
按钮文字:提交订单 → 后台微调样式增加空格、字体微调、大小写变化,传统 xpath 不受影响;AI 视觉识别判定按钮不存在。
相似元素混淆(高频问题)
页面多个「确定」「取消」按钮,AI 偶尔点对弹窗按钮、偶尔点击页面底部按钮。
页面渲染时序识别偏差
元素已经渲染完成,但 AI 视觉模型判定元素未加载;或者元素半渲染状态误判为可点击,出现偶发点击失效。
动态广告、悬浮组件干扰识别
随机弹出的运营弹窗、滚动浮窗遮挡控件,AI 本次能绕开,下次识别被遮挡直接终止流程。
俗称:同样页面,时而能找到控件,时而找不到。
 
三、断言(结果校验)不稳定【最致命】
传统自动化:硬编码预期结果 金额 == 99.00;
AI 测试大多使用自然语言模糊断言。
同一结果时而 Pass、时而 Fail(摇摆判定)
示例:页面展示 “预计送达:1-3 天”
本次 AI 判定:展示正常
下次 AI 过度解读:没有精确日期,判定展示异常
宽松漏判(假阳性)
页面报错文案被折叠、文字错位,AI 视觉粗略扫描认为页面正常,缺陷漏掉。
过度敏感误报(假阴性)
页面仅仅样式微调、字体间距变化,无功能问题,AI 判定 UI 异常,产生大量无效缺陷。
数值类校验不可靠
金额、数量、订单状态等精确字段,AI 很难稳定做到严格等值校验,容易出现近似匹配。
 
四、自愈行为不可控(AI 自主修复带来新不稳定)
AI 自动化一大卖点:元素定位失效时自动寻找替代控件自愈。
副作用:
本次自愈成功,下次无法自愈
页面改版幅度小时 AI 自动适配;改动稍大自愈逻辑失效,脚本间歇性可用。
自愈后走入错误分支
原按钮删除,AI 自动找到一个名字近似的其他按钮继续执行,流程跑通但测的已经不是目标场景。
表面执行成功,实际测试目标发生偏移,属于隐蔽漏测。
 
五、环境、数据轻微波动引发执行差异
传统脚本对环境细微变动容忍度高;AI 对上下文非常敏感:
前置数据不同,执行逻辑大变
同一个下单目标:库存充足时正常流程;库存不足场景 AI 自主触发缺货弹窗分支。
即使你没有切换数据,缓存、上次测试残留数据会造成页面状态随机。
传统自动化可以前置清理数据、固化状态;AI 容易受页面当前上下文影响自主变更策略。
网络延迟、页面加载快慢影响 AI 决策
页面加载慢时 AI 等待策略短,直接判定元素丢失;网速正常又可以正常执行。
 
六、失败难以复现、排查成本高
偶现失败难以稳定复现
流水线偶尔失败,但人工重新触发一遍又跑通,很难抓取根因。行业称为 Flaky Test(不稳定用例)。
决策链路不透明
AI 为什么选择这个按钮、为什么判定结果异常没有完整标准化日志;传统脚本每一步操作、断言代码清晰可追溯。
出现问题只能观看录屏,缺少结构化执行日志。
 
七、边界场景一致性差
针对异常流程、分支场景:
传统自动化:你明确编写异常步骤,每次稳定执行异常分支;
AI 测试:大概率走正常主流程,很少主动稳定触发异常场景,无法持续回归异常、边界逻辑。
本文内容不用于商业目的,如涉及知识产权问题,请权利人联系SPASVO小编(021-60725770-8054),我们将立即处理,马上删除。
沪ICP备07036474号 2003-2026 版权所有 上海泽众软件科技有限公司 Shanghai ZeZhong Software Co.,Ltd.
微信
咨询

添加客服微信 欢迎咨询测试工具和测试服务

微信客服
问题
反馈
产品
画册

扫描二维码下载泽众软件企业宣传册

产品画册
返回
顶部

方案咨询

×
提交信息

电话咨询,400-035-7887,安排专业技术售前给您解答(产品试用、技术交流、服务咨询和商务报价)。

您的信息已成功提交!

我们的客服人员稍后会与您联系