刚接手一个 AI 项目,很容易把「评测」和「Agent」混成一件事:以为搭了个 Agent 就等于有了评测,或者以为跑完一堆评测集就自然会省下人工。结果往往是评测报告写得很漂亮,Agent 上线还是天天翻车。这篇不铺概念,先把两套东西的目标、产出物和衡量口径摆开,再给一份判断清单,帮你在做错方向之前先看清自己手里要的到底是哪个。
刚接手 AI 项目的人常犯一个错:以为把 Agent 搭起来就等于有了评测,或者以为把评测集跑完就自然会省掉人工。这两件事经常被塞进同一个抽屉,结果就是评测报告写得挺好看,Agent 上线照样天天翻车。要拆清楚,先别管概念,先看两套东西各自要交什么货。
评测体系交的是一份判断:同一批输入下,哪个模型、哪版提示词、哪条链路更靠谱。Agent 交的是一条能跑通的执行链路:自己拆步骤、调工具、看返回再决定下一步。前者在量结果,后者在做事。方向搞混,后面指标、样本、排查方式全会跟着歪。
先分清:一个在量结果,一个在做事
评测的核心动作是控制变量。样本固定、口径固定、重复跑能复现,你拿到的才是一组可比较的分数。它的价值在于横向对比和回归,不在于证明系统多聪明。所以评测做完,手里应该是一张能指着说「这版比上版稳」的表,而不是一段演示视频。
Agent 的核心动作是推进任务。它要决定先查什么、调哪个接口、返回不对时怎么退回来重试。这条链路上每一步都可能坏,坏的往往不是模型不会答,而是工具参数填错了格子、返回结构变了没接住。把评测当 Agent 的附属品,最常见的后果就是只剩一个最终对错,中间哪一步断的完全看不见。
| 对比项 | 评测体系 | Agent 系统 |
|---|---|---|
| 要解决的问题 | 哪套方案更靠谱 | 这个任务能不能自己走完 |
| 产出物 | 一组分数与对比结论 | 一条可执行的步骤链路 |
| 样本 | 固定任务集,可复现 | 真实任务流,带工具返回 |
| 坏了怎么看 | 看整体分布和差异 | 看单步输入输出定位断点 |
这张表不是让你二选一,而是提醒你:同一个项目里两套都要有,但别用一套的产出物去代替另一套。拿评测分数去证明 Agent 能干活,和拿一次 Agent 跑通去证明模型更好,都是错位。
衡量口径对不上,就会出现「评测很好、用起来很糟」
评测关心的是任务集上的稳定表现。一批样本里对了多少、错在哪些类型、换个提示词差异有没有超出噪声,这些是它的语言。样本要挑得有代表性,题量够跑出稳定差异就行,堆太多反而让结论更糊。
Agent 关心的是链路层面的东西:任务有没有完成、工具调用成没成功、一次任务走了几步、总开销大概什么量级、失败时卡在哪一环。这些指标在纯评测里根本不存在,因为评测默认一次输入一次输出,中间没有动作。
- 跑 Agent 评测时,逐步记录输入、工具名、参数、返回,别只存最终答案;
- 给每类失败打标签:模型判断错、参数填错、接口超时、返回解析失败;
- 同一批任务重复跑几轮,看完成率波动,波动大说明链路不稳而不是模型不行;
- 单轮评测集只用来做上线前的回归,别拿它当多步能力的证明;
- 指标定义先写下来再开跑,跑完再改口径等于白跑。
实际用下来,最省时间的做法是先把失败样本按上面几个标签分堆。接口层的问题去站内工具页面对照着测,逻辑层的问题才轮到改提示词和链路。顺序反了,你会花大量时间调提示词,而真正坏的是那个返回字段名。
什么情况下该换另一个:四条判断线
判断该做评测还是该上 Agent,看任务形态就够了。任务只有一步、输出格式固定、你主要想比不同模型或不同提示词谁更好,这就是评测的活,先别急着上 Agent。多步拆解带来的复杂度,在这种场景里全是负担。
反过来,任务需要查外部数据、调接口、按返回结果走不同分支,这就是 Agent 的地盘。评测在这里退居二线,作为上线前的回归手段,而不是主角。硬把这类任务塞进单轮评测集,你只能测到「它知不知道该查什么」,测不到「它查得对不对」。
- 任务单步、格式固定
- 先做评测,比较模型和提示词,别引入多步链路
- 任务要多步、要调外部
- 上 Agent,评测只做上线前回归
- Agent 坏了要人工逐条看日志
- 补步骤级探针和分标签统计,不是再加一个大模型
- 评测集稳了但场景一直变
- 先划清场景边界再扩样本,盲目加题会让结论更糊
还有一条容易忽略:如果 Agent 已经在跑,但每次出问题都要人肉翻日志才能定位,那说明缺的是步骤级观测,不是更强的模型。这时候加模型只会让链路更长、断点更多、排查更贵。先把探针补上,再谈升级。
先后顺序:别反过来做
顺序搞反是新人最容易踩的坑:先搭了一个多步 Agent,再回头想怎么评它,结果发现根本没有可判断的样本,只能靠肉眼看着像不像。正确顺序是先定任务边界和验收口径,再决定要不要 Agent,最后才是搭链路。
- 划任务边界写清输入是什么、输出长什么样、什么算完成。写不出来就先别动手搭。
- 攒样本收集一批真实输入和对应的可判断结果,数量够跑出稳定差异即可,别追求多。
- 单步跑通Agent 侧先只接一个工具、只走一步,确认参数和返回解析都对,再往下加。
- 逐步加关卡每加一步分支,顺手补对应的回归样本,别等上线前一次性补。
- 分层排查接口层问题去站内测速和在线实测工具对照,逻辑层问题才改提示词和链路。
这套顺序的好处是,每一步都有可验证的东西。单步跑不通就别加第二步,样本跑不稳就别急着上 Agent。判断「够不够」不靠感觉,靠重复跑几轮看结果稳不稳。真要拿数字说话,各家模型当下什么价位、什么表现,到站内价格页和资料库核对当时的数字,别拿记忆里的旧账做决定。
最后提醒一句适用范围:如果你的任务本身还没定型,业务方今天要这个明天要那个,那先别做评测也别搭 Agent,先把需求收敛成一条可验证的路径。两套东西都建立在「任务说得清」之上,任务说不清,做哪个都是白搭。
下一步想先把任务边界的判断口径定下来,可以去看站内的评测方法与指南,再对着模型资料库挑候选,最后到价格追踪页核对当时的数字,三件事一起看不容易跑偏。→常见问题
搭了 Agent 是不是就等于有了评测?
不等。Agent 只证明链路能跑,评测要回答的是同一件事重复跑稳不稳、换个模型差多少。没有固定样本和可复现的跑法,Agent 跑通一次说明不了太多,建议先把输入样本和判断标准定下来,再谈能力。
评测报告里分数很好看,为什么上线还是出问题?
大概率是评测样本和真实输入分布对不上,或者只测了单轮没测多步链路。先把线上真实输入捞一批补进样本,再补上中间步骤的记录,看看失败出在检索、工具参数还是生成环节,定位清楚再改。
只有一两个人的团队,评测要搞多重?
不用搞成平台。固定几十条真实输入加一份人工可核对的答案,跑之前记版本、跑之后看差异,就够判断这次改动是变好还是变坏。等到改一次要重跑几十个场景、人工对不过来,再考虑自动化。