搜这两个词的人,八成是同一个处境:手上一堆接口用例越写越长,听说 AI 能自动生成、自动判定,就想知道能不能直接换掉。结果装了个测试框架,AI 那边又接了模型,两条链路混在一个仓库里,跑挂了都不知道是谁的问题。这篇把两条链路各自的原理拆开,再给一套能照着走的判断顺序。
搜这两个词的人,八成是同一个处境:手上一堆接口用例越写越长,听说 AI 能自动生成、自动判定,就想知道能不能直接换掉。结果装了个测试框架,AI 那边又接了模型,两条链路混在一个仓库里,跑挂了都不知道是谁的问题。
这事儿麻烦在,两边都能叫「自动化测试」,但跑出来的结论分量完全不一样。这篇把两条链路各自的原理拆开,再给一套能照着走的判断顺序——哪段该写死断言,哪段才轮得到模型说话。
两条链路根本不是一回事
接口自动化测试的链路是固定的:发请求、拿响应、按事先写好的规则比对、出报告。判定权从头到尾在你手里,模型不参与任何一步。它给的结论是「通过」或「不通过」,可复现,跑一万次结果一样。
AI 自动化测试多出来的那一层,恰恰在判定环节:把响应、页面状态或者一段长文本交给模型,让它判断这算不算对;或者反过来,先让它照着接口文档生成用例草稿。它给的是「模型认为像不像」,不是「确定对」。这两句话强度差很多,别混着用。
| 对比项 | 接口自动化测试 | AI 自动化测试 |
|---|---|---|
| 判定依据 | 事先写好的断言规则 | 模型的判断或生成结果 |
| 结论强度 | 通过 / 不通过,可复现 | 像 / 不像,有波动 |
| 失败定位 | 断言挂在哪一行,一目了然 | 要翻原始响应加模型理由 |
| 适合的输入 | 结构化字段、状态码、数值 | 自然语言、长文本、模糊预期 |
哪些活压根不该交给模型
状态码、字段存在性、类型、必填、金额小数位、时间格式这类,写死在断言里最省事。它们有确定答案,跑一万次结论都一样,交给模型纯属给自己找不确定性,查起来还慢。
有明确业务约束的校验也一样,比如「订单金额等于明细之和」「权限不足必须返回拒绝」。这种规则用几行代码就能锁死,模型判错了你还要反过来怀疑是不是提示词没写对,排查成本翻倍。
反过来说,当接口字段本身就没定义清楚、返回的是自然语言或长文本时,脚本断言才真的不管用。比如一段客服回复、一份生成的摘要,你没法用等号比对,这时候才轮到模型上场。
- 硬字段:状态码、字段存在性、类型、枚举值——写断言
- 数值约束:金额加总、数量上下限、时间格式——写断言
- 业务规则:权限、状态流转、幂等——写断言
- 软内容:自然语言回复、摘要、分类标签——考虑模型判定
- 没写清的预期:文档含糊、产品自己也没定——先补文档,再谈判定
模型该接在哪一段,怎么接才不飘
第一类用法是生成:给它接口文档和几条样例响应,让它产出用例草稿,人再删改。这里有个前提——草稿质量上限取决于文档写得清不清楚。文档里字段含义都没交代,生成的东西也只能靠猜。
第二类用法是判定:把待判内容、判断标准和几个正反例一起给模型,要求它输出结构化的结论和理由。关键是提示词里把输出格式框死,别让它自由发挥,否则你拿回来的是一段散文,没法进流水线。
- 固定输入每次判定都带上同一套判断标准和两三个正反例,不要临场改措辞。
- 框死输出要求返回固定字段,比如结论加理由,理由里必须引用原文片段,方便回查。
- 留兜底模型说不过、超时、格式不对时,先标记为可疑而不是失败,原始响应和模型理由一起落库。
- 抽样复核每周人工抽查一批模型判定结果,看它跟你的判断差在哪,差得多就回去改标准。
一个团队该先做哪一步
先盘清现有接口里哪些字段是硬的、哪些是软的。硬的归脚本,软的才考虑模型判定,别想着整条链路一次换掉。一家五人的小团队,通常先分一个模块试水就够,全量铺开容易失控。
再给模型判定做一个小型离线对照集:挑二十来条你已经人工判过对错的样本,跑一遍看模型判得跟你差几条。差太多就先别上,回去改判断标准或换提示词写法。
| 先后顺序 | 做什么 | 判断标准 |
|---|---|---|
| 第一步 | 字段分类:硬字段 / 软内容 | 能说清每个断言为什么必须写死 |
| 第二步 | 小样本对照模型判定 | 差异在你能接受的范围内 |
| 第三步 | 接入流水线,设为可跳过 | 模型不可用不影响发布 |
| 第四步 | 定期抽查,更新判断标准 | 模型判定和人工复核偏差稳定 |
什么情况下这套判断不适用
用例总量很小、接口变动又频繁的项目,维护成本本来就低,上 AI 判定多一层外部依赖反而更麻烦。这时候先把脚本断言写顺,比引入模型划算。
对延迟极敏感的流水线也要注意,模型判定那几秒到几十秒的等待会拖慢整个发布节奏,这类场景优先精简脚本断言,模型只放到发布前的人工复核环节。
还有一种:接口背后是强一致的账务、权限逻辑,判定必须可复现,模型只能做辅助复核,不能当唯一裁判。它的结论有波动,这种东西一旦进了主链路,出问题你连复现都做不到。
两条链路分清的标准很简单:结论要能复现的,写断言;预期本身模糊的,才请模型。下一步想对比各家接口的价格和模型能力上限、再决定哪一层交给模型,去价格追踪页看当时的数字,比凭印象拍板靠谱。→
常见问题
AI 自动化测试是不是就不用手写用例了?
不是。它能帮你把用例草稿写快,但判断标准还得人来定:这个字段为空算不算错、这个文案换个说法能不能接受,模型不知道你的业务底线。实际做法是人定标准和样本,模型批量套。
接口自动化测试和 ai 自动化测试能放在同一个仓库吗?
可以,但要分目录、分跑法。脚本那部分追求快和稳定,模型那部分允许慢和偶发不一致,混在一个任务里跑,挂了不好归因。建议两条命令,报告分开出。
模型判定结果忽对忽错,怎么排查?
先看判断标准写得够不够具体,是不是只有一句「看回答对不对」;再固定几个正反例塞进提示词;还不行就降级用途,只让它挑出可疑样本,最终判定仍由脚本或人来。别指望调温度解决判定问题。