搜这两个词进来的人,多半正卡在同一件事上:手里攒了一堆提示词,想验证改完到底有没有变好,又听说该上agent了,于是两件事搅在一起做,最后哪件都没落地。这篇先把两个词各自指什么东西摆清楚,再给一套判断顺序——你现在该先写评测,还是该先搭agent,或者两个都要但得分两期做。
搜这两个词进来的人,多半正卡在同一件事上:手里攒了一堆提示词,想验证改完到底有没有变好,又听说该上agent了,于是两件事搅在一起做,最后哪件都没落地。很常见的场面是,脚本里一边调模型一边判断对错,判断逻辑写死在循环里,跑完只看到一个「差不多还行」的印象。
这俩词确实容易混,因为它们都要调模型、都要写代码、都关心「回答好不好」。但它们是两条不同的链路,混着做,评测脚本跑不起来不是玄学,是结构上就不成立。下面先把各自指什么摆清楚,再给一套判断顺序:你现在该先写评测,还是该先搭agent。
两个词指的是两条不同的链路
评测管的是「同一个输入做很多次,结果稳不稳、够不够好」。它的输出应该是一张对照表和一句结论,比如「这版在边界问法上变好了,但拒答变多了」。agent管的是「让模型自己决定下一步做什么」,输出是一个能跑完多步任务的程序。前者是测量,后者是执行,方向都不一样。
最容易混的一点在输入。评测的输入是你准备好的用例集,agent的输入是用户的真实请求。用例集不会自己长出来,得有人一条条挑、一条条写清判定标准;真实请求则是不可控的,来了就得接。把这两类输入塞进同一个脚本里循环,等于一边跑测试一边改测试,结果没法看。
- 评测用例集
- 你预先写好的「问题+判定标准」,数量不多但每条都能复跑,是评测的地基。
- agent的工具调用
- 模型在多步任务中决定调用哪个外部函数、传什么参数,失败要能回填重试。
- 两者关系
- 不是先后替代,是两种独立的工程活动,可以只有评测,也可以先有agent再补评测。
一个团队可以只有评测没有agent,这完全正常,很多内部问答场景根本用不上多步编排。反过来,先搭了agent再回头补评测也常见,只是补的时候会发现日志里全是真实请求,光靠它们攒不出一套稳定的用例集,还得重新人工挑。
怎么判断你现在缺哪一样
先看症状,不用看概念。改完提示词心里没底,只能凭感觉说「好像好了点」,这是缺评测,先把固定用例攒起来。单轮问答已经够用,但用户开始要求「帮我查一下再改一下再发出去」,这是缺agent,该上工具调用和多步编排。两个症状都有,说明两个都缺,那就排期分两期做,别同一天动手。
| 你现在的表现 | 该先补什么 | 先别做什么 |
|---|---|---|
| 改完提示词只能说「感觉好点」 | 评测:攒二十条能复跑的用例 | 别急着接工具调用 |
| 用户要求跨系统办事、分多步完成 | agent:单智能体加少量工具 | 别一上来就搞多智能体 |
| 答错会赔钱或对外发消息 | 评测优先,先把拒答和边界卡住 | 别用真实请求直接试 |
| 只是内部效率低、错了能人工兜 | agent优先,先把步数上限设好 | 别把评测做得很重 |
两样都缺、人力只够做一件的时候,按「出错代价」排。答错了会赔钱、会对外发消息、会动到线上数据,先做评测,把不该发生的先挡住。只是效率低、错了有人工兜底,先做agent,让它先跑起来看瓶颈在哪。这个排序不绝对,如果团队里没人愿意长期维护用例集,那就先做agent,免得用例建完三天就没人跑。
先做评测的话,最小可用的一套长什么样
用例别贪多,先从真实提问里挑二三十条,覆盖正常问法、边界问法、明确不该回答的问法三类。每条都要写清「什么样的回答算过」,这句话比用例本身还重要,写不出来说明你还没想清楚要什么。判定标准可以是关键词命中、可以是另一轮模型打分,也可以人工看,但同一批用例只能用同一种,不能中途换。
- 把用例存成文件一行一条,带上输入、期望行为、判定方式。存成文件而不是贴在群里,保证下次还能原样跑。
- 固定跑法同一条用例、同一组参数、同一批模型各跑一遍,把结果并排贴在一张表里,别靠页面截图对比。
- 写一句结论这次改动在多少条上变好、多少条变差、多少条没动。变差的那几条单独留档,这是下一轮的起点。
- 数字去站内核对模型和价格的横向对照到 /benchmarks 看当时的数字,别拿记忆里的印象当基线。
第一次跑完大概率会发现,有些用例的判定标准互相打架。这时候先别加用例,先把打架的几条改清楚或者删掉,一套前后矛盾的用例集比没有还糟。评测做轻一点没关系,能复跑、能对比才是关键。
先做agent的话,第一次别碰多智能体
单智能体加三五个工具足够验证想法了。工具只放你确定幂等、失败重试不会造成重复副作用的那些,查数据可以,发消息和扣款先别挂。步数上限和单次任务成本上限第一天就要设好,跑飞了先停下来看日志,而不是加更多提示词去劝它——提示词越加越乱是常态。
工具描述要当接口文档写。入参类型、必填项、单位、能接受的取值范围,全写清楚。实际踩过的坑:参数少包了一层对象,工具那边收到的永远是空值,模型看上去像「听不懂话」,其实是序列化对不上。这种错会堆在工具那一层,排查时先看工具收到的原始入参,能省一半时间。
跑通之后也别急着扩工具数量。工具越多,模型选错的概率越高,每加一个工具先问一句:少了它任务还能不能完成。能完成就先不加,等评测那边攒出用例再回头判断该不该扩。
这些情况下别急着上
- 任务只有一步、答案对错一眼能判的时候,写个普通函数比搭agent省事,也更好排查。
- 用例还没稳定、需求每天在变的时候,先别把评测做重,攒二十条能复跑的用例就够,做重了改一次全部作废。
- 只是想选个模型试效果,用站内的模型质量检测和榜单先粗筛,范围缩到两三个再自己写用例,能省掉大量无效对比。
- 团队里没人愿意维护用例集时,先别建正规评测流程,用临时脚本跑几轮也比建完没人管强。
还有一种情况值得提:已经有agent在跑、但从来没测过。这时候别推倒重来,先把线上日志里的请求抽一批出来当用例,边跑边补判定标准,算是一条折中的路。不完美,但比「等有空再做评测」实际得多。
下一步先去选模型或看中转站,再回头写用例,顺序别反。拿不准模型时,站内的模型质量检测可以先粗筛一遍,把候选缩到两三个,剩下的事才轮到你自己写判定标准。→常见问题
评测和agent能不能用同一套用例?
可以复用输入,但判断标准要分开。评测关心的是这条输入下回答对不对;agent关心的是这条输入下它走了哪几步、有没有调错工具、有没有绕远路。同一批问题两种观察角度,别把两套标准混成一张表,否则出了问题说不清是模型差还是流程差。
我只有一个人,先做哪个更划算?
先做评测。它不需要额外架构,几十条用例加一张表就能跑,而且做完之后你调agent的每一步都有对照,不会越改越糊涂。反过来先搭agent,等你发现效果不稳时,手里连一个能复跑的基线都没有,只能凭感觉回滚。
跑评测要不要每次都用最贵的模型?
不用。先用便宜档把流程和用例跑顺,确认判定标准没歧义,再换目标模型跑正式那一轮。最贵的模型留给最终决策那一次对比,中间调试阶段拿它跑纯属烧钱,而且慢,会拖长你的迭代节奏。