Bug0 发布 QA Agent,利用缓存的 Playwright 回放实现回归测试自动化
Linearbytes 发布了 Bug0 QA Agent,这是一个用于代理式浏览器回归测试的开源 Playwright 库。该 AI 代理能够将以自然语言表达的测试指令与用户界面操作关联起来,在适当情况下缓存这些操作以加快持续集成(CI)的重放速度,并在用户界面发生变化时将其重新映射到测试规范。验证过程基于最多三个大
Linearbytes 发布了 Bug0 QA Agent,这是一个用于代理式浏览器回归测试的开源 Playwright 库。该 AI 代理能够将以自然语言表达的测试指令与用户界面操作关联起来,在适当情况下缓存这些操作以加快持续集成(CI)的重放速度,并在用户界面发生变化时将其重新映射到测试规范。验证过程基于最多三个大语言模型(LLM)达成的共识以及视觉模型的评估结果。
一方面,虽然传统的 Web 应用程序测试方法在很大程度上实现了自动化,但并未将人工智能作为提高生产力的关键因素。而另一方面,创新团队则采用完全基于代理的自动化测试方法,其中代理处于核心地位,动态地处理每一次浏览器交互。
传统方法往往难以摆脱已知的痛点。测试套件通常依赖于实现细节(CSS 类、属性、data-testid),即使规范保持不变,这些细节也可能发生变化,从而导致不必要的测试重写和重构。测试不稳定的根源在于支撑 Web 应用的底层系统具有内在的不可预测性——它们往往是复杂的异步分布式系统,容易引发竞态条件、延迟波动以及请求丢失等问题。
另一方面,AI 优先的测试方法则存在延迟过高的问题,这使得它们不适用于大型回归测试套件。通常,大语言模型(LLM)会在每个步骤中增加几秒钟的延迟,这会推高 API token 成本,而且,由于所执行操作的非确定性,还会引入其特有的不稳定性。不过,从积极的一面来看,测试生成对实现变更的适应性比较强;图像和视频模型也许能在一定程度上实现视觉验证。
Bug0 提出了一种混合方法,其中,自主代理将初始视觉探索与常规回归执行解耦。开发人员可以在标准的 Playwright 规范文件中,使用纯英文编写声明式测试步骤。
test("Shopping cart tests", async ({ page }) => { await runSteps({ page, test, expect, userFlow: "Add product to cart", steps: [ { description: "Navigate to https://demo.vercel.store" }, { description: "Click Acme Circles T-Shirt" }, { description: "Select color", data: { value: "White" } }, { description: "Select size", data: { value: "M" } }, { description: "Add to cart", waitUntil: "My Cart is visible" }, ], assertions: [{ assertion: "Cart shows the Acme Circles T-Shirt" }], });});
在首次执行时,代理会检查可访问性树和屏幕截图,以理解用户界面并执行请求的操作。一旦单操作步骤执行成功,框架就会将该交互编译为具体的浏览器操作,并将其缓存到内存中的 Redis 存储中。在后续运行时,测试套件会直接通过 Playwright 重放缓存的操作,从而避免了进行新的 LLM 推理所带来的延迟开销。
当用户界面的实现细节发生变化(例如按钮坐标更新、表单层次结构修改)时,重放的 Playwright 操作可能会因此失败。但 Bug0 QA Agent 不会让整个测试运行失败,而是会检测中断,清空操作缓存,并重新调用多模态代理循环。需要注意的是:缓存仅适用于单操作步骤;复杂的多操作指令在每次运行时都会通过代理重新执行。
与操作步骤不同,断言验证不会被缓存。每次迭代时,断言都会通过视觉模型执行。Claude 和 Gemini 会独立评估每个断言,如果结果不一致,则由第三个模型进行裁决。视频模型能够捕获瞬时 UI 缺陷(例如自动消失的提示弹窗、一闪而过的横幅报错)。
该框架通过 mailsink 以及 Mailinator 等社区开发的适配器,集成了一次性邮箱测试功能,允许测试通过自然语言提示(如 {{email.otp:Extract the 6-digit code}})提取一次性密码(OTP)和魔法链接。
Chevrot 等人(自主 Web 代理是优秀的测试人员吗?)指出,他们表现最好的自主测试架构(ATA)在测试运行中与人类专业测试人员的一致率仅为约 60%,并且指出,断言可验证性与锚定能力(即识别目标应用程序中与测试操作相关的元素)是推动自主测试代理大规模应用的关键因素。该论文发表于 2025 年 4 月,研究中使用了 GPT-4o、Sonnet 和 Gemini。随着语言模型和测试框架的持续改进,利用人工智能提升测试各环节(生成、自愈、执行、分类、分析)生产力的工作也在不断推进。
Bug0 QA Agent 遵循 Functional Source License 1.1 版本 Av2 未来许可。该许可协议是一种源码可用的许可协议(不属于开源许可),在使用的前两年内会施加竞业禁止限制。据其首位倡导者 Sentry 所述,创建该许可协议的目的是“在赋予使用自由的同时,杜绝有害的搭便车行为”。