纯语言 YAML 测试
测试以纯语言 YAML 存在你的仓库里,描述用户做了什么,而不是选择器。可以在 PR 里评审,也可以在本地调试器里手工微调。
拖动滑块完成拼图,通过后发送验证码
独立第三方 AI 评测平台 · 只用实测数据
Shiplight AI 是一个代理原生的端到端测试平台,让编码代理在真实浏览器里走你的应用,写出人能读、能改的纯语言 YAML 测试,覆盖度在几天内长出来,团队达到可靠端到端覆盖的速度快 10 倍。它有自愈能力,选择器失效时会在运行中重读页面、用意图重新定位,被重命名的按钮不再吃掉一整个上午。免费档永久免费、无需信用卡,Pro 档 $60/月,企业档按合同计价;同尺寸 runner 比 GitHub 公开费率每分钟便宜 33%,每次作业成本大约是它的一半。短板在于免费档只带 $10 一次性注册赠金、产物只留 30 天,组织成员上限 5 人,SSO 与审计日志都不含。
Shiplight 把自己定位成「代理原生的测试平台」(The agent-native testing platform)。它构建并维护你的端到端测试套件:代理在真实浏览器里走一遍应用,然后用纯语言的 YAML 把测试写下来,你可以读、可以在 PR 里审、可以自己改。测试步骤描述的是用户意图而不是选择器。
它围绕五个环节组织:Author(授权)——代理从会话录制、工单、规格或电子表格里的测试计划写出 YAML 测试,比如 /shiplight create-yaml-tests;Run(运行)——同一个文件在本地、Shiplight 托管的 CI runner 或你自己的基础设施上跑,已稳定的步骤从缓存里按完整 Playwright 速度确定性重放,只有新路径才需要模型;Heal(自愈)——缓存定位器失效时,Shiplight 重读页面、解析原始意图,并在运行中更新缓存,真正的回归仍然会拦住流水线;Fix(修复)——失败以带日志、截图和 trace 的形式回到 pull request 上,代理用 /shiplight fix 复现失败、找到原因并更新测试,如果是应用本身坏了,就报 bug;Verify & review(验证与评审)——同样的浏览器技能也能在套件之外用,代理可以验证一次改动。
不同角色的用法不一样。普通工程团队把它当作端到端套件的托管与自愈层,结果直接落到 PR 上;用编码代理的开发者把 Browser MCP 装进 Claude Code、Cursor、Codex、VS Code、Antigravity 等工具,让代理能控制浏览器检查页面、验证改动、调试控制台和网络问题;对成本和合规有要求的组织可以自带 LLM key、跑在自己的基础设施上,企业档再加 SSO、SOC 2 和专人支持。
测试以纯语言 YAML 存在你的仓库里,描述用户做了什么,而不是选择器。可以在 PR 里评审,也可以在本地调试器里手工微调。
给编码代理提供浏览器控制能力,可以检查页面、调试控制台和网络问题。已接入 Claude Code、Cursor、Codex、VS Code、Antigravity。
代理自己走一遍应用,或从会话录制、工单(如 PROD-1423)、规格、电子表格里的测试计划写出 YAML 测试,每一步描述用户意图而非选择器。
按钮挪了位置、类名改了,测试会在运行中自动修复;缓存定位器失效时重读页面、解析原始意图并更新缓存,AI Fixer 处理剩下的情况。
测试运行过程中尝试从瞬时交互失败里恢复,让运行不会因为一次偶发失败而中断。
一条命令即可在本地、Shiplight 托管的 CI runner 或你自己的基础设施上运行同一套件。已稳定的步骤从缓存按完整 Playwright 速度确定性重放,只有新路径调用模型。
失败以日志、截图和 trace 的形式落到 pull request 上。让代理执行 /shiplight fix,它会复现失败、找到原因并更新测试;如果是应用坏了,就报告 bug。
所有核心功能免费档就有,包括自带 LLM key 和在你自己的基础设施上运行,自由度和成本控制不挡在付费墙后。
当成端到端测试的托管与自愈层来用,Shiplight 值得试:测试从缓存按完整 Playwright 速度重放,只有新路径调模型,同尺寸 runner 每分钟比 GitHub 公开费率便宜 33%,每次作业成本约为一半。当你想立刻给整个组织做单人 SSO 和长期审计留痕时,免费档不含 SSO、审计日志,组织成员上限 5 人,产物只留 30 天,得直接谈企业档。如果团队里没人用编码代理、也不想维护 YAML 测试,它的核心优势用不上。
Claude Code、Cursor、Codex 等代理可经 Browser MCP 与 AI Skills 直接接入,覆盖度随发版自然增长,不用另起一套测试流程。
选择器失效常吃掉大半天,自愈机制会在运行中重读页面、解析意图并更新缓存,把这类工作清掉。
同尺寸 runner 每分钟比 GitHub 公开费率便宜 33%,每次作业成本约为一半,且稳定步骤从缓存重放,不按模型计费。
免费档不含 SSO、审计日志,成员上限 5 人;这些能力要从 Pro 起才有,SSO 与 SOC 2 得进企业档,建议先谈方案再定。
产物保留免费档 30 天、Pro 档 90 天,企业档自定义;如果审计要求更长的留存窗口,Pro 档不够用。
平台围绕代理写测试、代理修复构建,本地浏览器自动化与写测试虽不需要账号,但不借助代理时它的核心优势基本用不上。
| 方案 | 价格 | 包含内容 | 说明 |
|---|---|---|---|
| Free | $0 /month | 组织成员最多 5 人;$10 一次性注册赠金;产物保留 30 天;按量付费与自动充值 | 永久免费,无需信用卡,本地浏览器自动化与写测试无需账号 |
| Pro | $60 /month | 组织成员最多 25 人;每月 $60 额度;产物保留 90 天;含审计日志、按量付费与自动充值;SSO 不含 | 按月计费,年付可省 17% |
| Enterprise | Custom | 组织成员不限;额度与保留期自定义;含 SSO、SOC 2、实操支持与专属 CSM;批量定价 | 按合同计价,需联系销售 |
以上为公开费率整理,厂商保留调价权利,实际以官方页面为准。
| 指标 | 数值 | 数据来源 |
|---|---|---|
| 端到端覆盖达成速度 | 10× faster | 官网首页 |
| 同尺寸 runner 每分钟成本 | 33% cheaper per minute than GitHub's published rates | 官网首页 |
| 每次作业成本 | about 1/2 the cost per job | 官网首页 |
| 同尺寸 runner 运行速度 | up to 25% faster | 官网首页 |
| 年付折扣 | Save 17 % | 定价页 |
| 免费档注册赠金 | $10 signup bonus | 定价页 |
| 免费档产物保留 | 30 days | 定价页 |
| Pro 档产物保留 | 90 days | 定价页 |
| 免费档组织成员上限 | 5 | 定价页 |
| Pro 档组织成员上限 | 25 | 定价页 |
有一个永久免费的免费档,$0/月,无需信用卡,本地浏览器自动化和写测试甚至不需要账号。免费档带 $10 注册赠金,一次性发放、不结转。每个核心功能免费档都有,包括自带 LLM key 和跑在你自己 的基础设施上。
Pro 档 $60/月,按月计费,包含每月 $60 的额度,超出后可走按量付费,因此一次运行不会因为余额归零而停下。月付之外还有年付选项,可省 17%。额度用在 LLM token、算力和存储上。
不用手写。你的编码代理自己走一遍应用,或者从会话录制、工单、规格、电子表格里的测试计划出发,写出用纯语言描述用户意图的 YAML。比如 /shiplight create-yaml-tests 会产出 tests/checkout.test.yaml 这样的文件,每一步写的是意图而不是选择器。
不会。缓存定位器失效时,Shiplight 会重读页面、解析原始意图,并在运行中更新缓存;AI Fixer 负责修剩下的问题。它只吸收有意的改动,真正的回归仍然会拦住流水线,不会被自愈悄悄放过。
可以。同一条命令既能在本地跑,也能在 Shiplight 托管的 CI runner 上跑,还能跑在你自己的基础设施上。用托管 runner 时把 runs-on 改成 shiplight-small,结果会落到 pull request 上,同尺寸下每分钟比 GitHub 公开费率便宜 33%。
运行日志、视频、截图、trace 和报告的保留时间:免费档 30 天,Pro 档 90 天,企业档自定义。额度方面免费档的 $10 注册赠金一次性发放、过期不结转,Pro 档按月发放,你自己购买的额度则没有期限,用到花完为止。
Enterprise 档按合同计价。它提供批量定价、自定义额度与保留期、SSO、SOC 2、面向你团队工作流的实操支持,以及专属 CSM。SSO 在免费档与 Pro 档都不含,需要它就得走企业档。
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| Shiplight AI本工具 | 4.5 | 免费档永久免费;Pro $60/月;企业档按合同计价 | 纯语言 YAML 测试;浏览器 MCP;授权测试生成;自愈测试 | Web / API |
| Products-DB | — | 未标价 | 人工智能驱动的产品数据库,具有实时更新和灵活定价 | — |
| Applitools Eyes | — | 仅见 Professional 档名称,未见具体价格 | Applitools 是一款利用 AI 技术提升自动化测试效率并降低成本的视觉测试平台 | Web / SDK |
| Devzery | — | 未标价 | 人工智能驱动的 API 回归测试解决方案,实现精简 QA 和更快的发布 | Web |
| MagicLight AI | — | 免费试用起步,付费 $7.50-$75.00/月 | MagicLight AI 是一个新推出的 AI 动画视频创作平台,能够把文字描述、故事脚本或 | Web |
| Teste.ai | — | 有免费计划;Bug Hunter R$10,QA Professional R$ | 针对软件质量专业人员的 AI 平台,用于加速测试并提高生产力 | Web |