搜「ai评测和ai agent怎么排查」的人,通常手上已经有两样东西:一套跑不通的评测脚本,和一个行为飘忽的 Agent。麻烦在于这两件事的症状太像,都是「结果不对」,很容易一上来就改提示词,改完发现根本没用。这篇给一套分层判断顺序:先定位是哪一段出的问题,再决定改什么,附带可照着做的排查清单。
搜这个词的人,手上一般已经有两样东西:一套跑不出结论的评测脚本,一个行为飘忽的 Agent。麻烦在于这两件事的症状太像了,都是「结果不对」。于是很多人的第一反应是改提示词,改完跑一遍,好像好了一点,再跑一遍又不行。折腾半天,真正出错的那一层压根没动过。
这篇给一套分层的判断顺序。核心思路只有一句:先定位「哪一段坏了」,再决定「改什么」。评测和 Agent 共用模型、共用接口、共用同一套提示词,所以症状会互相串味,但坏的地方通常是分开的。下面按层拆,每层都给可验证的动作,不是概念解释。
先别改提示词,把「不对」拆成四种
「不对」这个词太笼统,笼统就没法排查。我建议先逼自己把现象归到四类里:评测结果不稳定、Agent 输出跑偏、工具调用报错、整条链路超时或直接断掉。归类不是为了好看,是因为这四类的修法完全不同——第一类多半是评测集或判分的问题,第三类基本是工具和鉴权的问题,你要是一上来改提示词,等于对着第四类问题改第一类的药。
一个特别好用的分辨动作:把同一句提示词分别放进评测脚本和 Agent 里跑。评测里正常、Agent 里翻车,那基本可以排除提示词本身,问题在 Agent 那层的上下文拼装或者工具描述。反过来,Agent 里偶尔正常、评测里稳定错,那要怀疑评测集的期望答案或者判分逻辑。这个对照实验十分钟能做完,比盲改有效率得多。
- 记录一次完整请求:原始输入、拼装后的上下文、模型输出、耗时,缺一样后面都白查
- 现象归类后写下来,一句话就够,比如「工具返回 401 但 Agent 继续往下编」
- 别在同一次运行里同时改两个地方,改完分不清是谁起的作用
- 先确认失败的用例能不能稳定复现,偶发的先记下来单独处理
评测这一层:先怀疑评测集,不是模型
评测跑不出结论,绝大多数人第一反应是「模型不行」。实际用下来,更常见的是评测集本身有毛病。最典型的一种:同一个输入,在用例里被期望出两个不同的答案。这种用例无论模型怎么答都会错一半,它测的不是模型,是你当初写用例时的手抖。
第二个高频坑是判分方式。精确匹配对格式极其敏感,模型答案内容对、但多了一个换行或者把标点换成全角,就直接判错。这类「假失败」会把整份评测的可信度拉垮。判分用模型打分的话,又要注意打分模型自己的稳定性,最好固定同一个打分口径,别这次用 A 下次用 B。样本量也别忽略,几条用例跑出来的结论只能当参考,先保证每条用例能稳定复现,再谈统计意义。
还有一层容易混:你自己搭的评测标准和站内榜单的评测口径,往往不是一套东西。同一个模型在你这里分数低、在榜单上看着还行,很正常,输入分布和判分规则都不一样。想对齐,去站内的评测口径说明页把自己用的标准和榜单标准逐条对一遍,别拿两套尺子量同一件事。
| 现象 | 优先怀疑 | 先做的动作 |
|---|---|---|
| 同一条用例反复跑结果都不一样 | 判分不稳定或模型温度设置 | 固定参数,同用例连跑几次看分布 |
| 内容对但被判错 | 精确匹配太严格 | 把判分改成包含匹配或人工抽检几条 |
| 整份评测分数异常低 | 用例期望答案写错 | 随机抽几条人工看,别信聚合分数 |
| 换一批用例结论就翻 | 样本量不足或分布偏差 | 扩样本,并对照真实输入分布 |
Agent 这一层:分清是模型答错还是工具没回话
Agent 出问题,第一件要做的事是把工具调用日志单独拎出来看,不要混在整体输出里。看三样:传进去的参数对不对、有没有拿到返回值、状态码是什么。这三样能立刻把问题劈成两半——参数错、没返回值、报错码,是工具链路的问题;参数对、返回值也对、模型还是答歪了,才是模型理解和上下文的问题。修法完全不同,前者查鉴权和参数格式,后者改提示词和上下文裁剪。
工具描述写得含糊,是这一步最容易翻车的地方。描述里没写清楚参数类型和取值范围,模型就会自己猜,猜错了参数,接口返回一个看不懂的错误,模型再接再厉编一段解释,看起来像「模型胡说」,其实是描述没交代清楚。我踩过一次:参数填在了错误的嵌套层级里,日志里看着有值,接口就是不认,查了两小时才发现是外层包了一层对象。
另外,步数上限和内层重试会掩盖真实失败。Agent 第一次调工具失败了,重试三次成功,日志里只留一条成功记录,你看到的是「一切正常」,但线上偶发失败就是这么来的。排查阶段先把重试临时关掉,看原始结果,看完再打开。
- 拉原始工具日志去掉重试包装和框架日志,只看每次工具调用的入参、出参、状态码
- 单点复现一次工具调用用同样的参数手动请求一次接口,确认工具本身通不通
- 检查工具描述看描述里有没有写清参数类型、必填项、取值范围,缺的就补上
- 临时关掉重试和步数上限观察第一次失败长什么样,这往往才是真实原因
- 只改一处再跑同一条用例改工具描述就别同时改提示词,否则分不清谁起的作用
排查顺序:从外往里,别从里往外
顺序搞反是效率最大的杀手。很多人从提示词开始改,改到第五轮才发现密钥过期了,前面全白费。正确的顺序是从最外层往里收:先网络和鉴权,再单次请求,然后才是评测集和提示词。每一步都有一个明确的通过标准,不过就别往下走。
单次请求这一环,非流式和流式各试一次。有些问题只在流式下出现,比如响应被截断、结束标记没收到,非流式测不出来。这一步过了,再进评测集。每次只改一个变量,改完重跑同一条最小用例,别跑全量——全量跑一次的时间成本,够你把一条用例验证十遍。
几个常见的误判,踩过一次就记住了
把格式不一致当成模型能力不行,是最常见的误判。模型答案的语义是对的,但你的输出解析那一层没兜住,多了一层 markdown 代码块标记就解析失败,最后表现出来是「答错了」。这类问题改解析器,不改模型。
把偶发超时当成 Agent 逻辑问题也很常见。并发打满触发限流,请求排队,Agent 那边的表现是「卡住然后乱答」,你以为是逻辑写错了,其实是资源问题。评测里分数高、线上体验差,同理——评测集和真实输入分布差太远,评测集里都是干净短句,线上都是带上下文的长输入,分数自然对不上。还有一种:Agent 在简单任务上表现好,稍微复杂一点就崩,先别怀疑模型,看看上下文是不是在中间被截断了。
- 格式问题看解析层,语义问题才看模型
- 偶发超时先查并发和限流,别先动逻辑
- 评测分数高但线上差,对比一下两边的输入分布
- 复杂任务崩,先确认上下文长度有没有超,截断是隐形的
- 多轮对话出错,把历史消息打印出来,看拼装顺序对不对
这套顺序在什么情况下不适用
上面这套从外往里的顺序,适合单 Agent 加有限工具的场景。多智能体互相调用时,链路更长,失败点分散在多个 Agent 之间,光看一层日志没用,得先画一张调用关系图,标出每个 Agent 的输入输出边界,再按图逐段排查。这时候从外往里不一定是最优路径,按调用链从入口往里走更实际。
流程里有人工审核环节的,失败点可能根本不在机器。评测判错是因为审核人当天的标准变了,Agent 卡住是因为等人工确认超时了。这种先把人的环节标出来,别往模型上找。本地部署模型的话,显存和并发瓶颈会伪装成逻辑错误——输出突然变短、响应突然变慢,都可能是资源问题,先用测速工具量一个基线,把资源因素排除掉再谈逻辑。
动手前先过一遍这张清单
最后给一张动手前的清单。这四样东西不齐,别开始改任何东西。它们不解决问题,但能保证你改的每一个地方都是对着真问题去的。
- 一条能稳定复现的最小用例,参数和输入都固定
- 一份完整的请求与响应记录,含原始输出不加工
- 工具调用的原始日志,去掉重试包装和框架日志
- 一份明确的判定标准:什么样算通过,由谁来判
- 记录每次只改了一个什么变量,方便回溯
常见问题
评测脚本跑出来的分数忽高忽低,是模型不稳定吗?
先看评测集里有没有开放式问题被用精确匹配判分。这类用例每次答案措辞不同,分数自然跳。把判分改成规则加人工抽检,或者把用例收敛成有确定答案的题,分数才会稳定。模型本身的波动通常小于判分方式的波动。
Agent 有时候不调工具,直接自己编答案,怎么查?
先看工具描述写没写清什么时候该用、参数什么格式。描述含糊时模型倾向于绕过工具。再确认上下文里工具列表有没有被截断,长对话很容易把工具定义挤掉。两步都排除后再考虑换模型。
评测和 Agent 的排查能不能用同一套工具?
链路层的工具可以共用,比如测速、日志、鉴权验证。判定层不一样:评测看的是答案对不对,Agent 看的是每一步动作合不合理。混在一起做会得到一堆没法解释的指标。
改完提示词评测分数涨了,但线上没感觉,为什么?
大概率是评测集和真实输入分布不一致。评测集里是你挑过的题,线上是用户随手打的。抽一批真实请求补进评测集,再跑一次,结论才算数。
工具调用一直报参数错误,该从哪改?
先打印模型实际发出的参数,对照工具定义里的类型和必填项。常见情况是多包了一层对象、数字传成字符串、可选字段被塞了空值。改工具定义里的描述比改提示词更稳。