刚接手 AI 项目时,常把「做一套评测」和「做一个 Agent」混成一件事:以为跑通 Agent 就等于验证了效果,或者以为搭了评测集就能自动干活。这篇按目标、产出物、验证方式三条线把两者拆开,给一份从零开始的落地顺序,以及什么时候这种区分不适用。
刚接手 AI 项目时,最常见的混淆是:以为把一个 Agent 跑通,就等于验证了效果;或者以为手里攒了一批评测用例,系统就能自己把活干完。其实这两件事的目标根本不在一个方向上——一个在打分,一个在干活。把目标、产出物、验证方式这三条线拆清楚,后面排期和分工才不会互相拖。
下面按四个部分讲:先分清目标,再对照产出物,然后给一份从零上手的落地顺序,最后列几个新人反复踩的坑。过程中会说明什么情况下这种区分反而没必要,免得你过度设计。
先分清目标:一个在打分,一个在干活
评测体系的核心产出是可重复的分数与结论:同一批输入跑多次,结果能对比、能追回归——改了一版提示词或换了模型,你能回答「比上一版好还是差」。Agent 系统的核心产出是把任务推进到完成,中间走哪几步允许变化,只要最终交付达标就算通。
| 看问题的角度 | AI 评测体系 | Agent 系统 |
|---|---|---|
| 核心产出 | 可重复的分数与结论 | 任务完成与交付物 |
| 关注点 | 答得对不对、稳不稳定 | 能不能自己拿到信息、会不会跑飞 |
| 允许的变化 | 输入固定、评分口径固定 | 中间步骤可以不同 |
| 失败意味着 | 指标掉了、疑似回归 | 任务卡住、重复绕圈或超预算 |
判断标准其实很简单:如果你关心的是「这次改动让效果变好还是变坏」,你在做评测;如果你关心的是「这件事能不能自己跑完」,你在做 Agent。两者不是对立关系,Agent 效果最终仍要落到评测上验证,所以准确说是「工具」和「验证工具的方法」的关系。
产出物对照:评测集、评分口径与可执行动作
从交付物看,两边的清单几乎没有重叠。评测侧要落地三样:一批固定用例、一套能重复执行的评分口径、一份历史结果记录,缺任何一样,结论都不可信。Agent 侧要落地的是工具清单、步数与成本上限、失败兜底动作,这些属于工程约束,不是评测指标。
- 评测侧:固定用例集,覆盖典型输入和边界输入;评分口径,写清什么叫合格;历史记录,能按批次对比。
- Agent 侧:可调用的工具及权限范围;步数与成本上限,防止无限循环;超限或报错时的兜底动作,比如转人工或返回部分结果。
- 共同点:都要有固定任务集,否则 Agent 每次改提示词都是盲调,说不出好坏。
- 容易漏的:评测口径要连稳定性一起看,同一用例多跑几轮,别只看一次结果。
评分口径里那些行业常用的定义,别自己从零发明名词,可以去 站内评测基准百科(/benchmarks) 翻一翻,至少保证团队内部说的是同一回事。
从零开始的落地顺序
- 先定任务边界写清输入是什么、什么样的输出算合格、谁来判定。验证方式:找两个同事分别读一遍,能说出同样的合格标准才算过关。
- 搭最小评测挑十几到几十条代表性用例,人工先标出期望结果,只跑通「改完能对比」这个循环。验证方式:改动一版后,能出一张前后对照结果。
- 再决定是否上 Agent只有任务需要多步取数、调用外部工具、根据中间结果改路线时,才值得引入 Agent 形态。验证方式:把任务拆成步骤,如果两三步内固定流程能完成,就别上 Agent。
- 把 Agent 接回评测给 Agent 也准备固定任务集,记录完成率、平均步数和失败原因。验证方式:同一任务集重复跑几轮,看波动范围是否可控。
- 定预算口径提前说清每次任务允许的调用次数和耗时上限,具体金额到 站内模型成本计算器(/tools/cost-calculator) 按当时的单价估算,别用旧数字拍板。
这套顺序的关键是「先评测、后 Agent」:评测先立起来,Agent 才有对照的基准;反过来先做 Agent 再补评测,往往要返工重构任务集。
新人最常见的四个混淆点
| 混淆点 | 为什么错 | 怎么查 |
|---|---|---|
| 模型答得好就算 Agent 做得好 | 单轮回答质量高,不代表多步任务里会正确调工具 | 拿同一任务集分别测单轮和多步,对比差距 |
| 跑通一次就当稳定可用 | 一次成功没有统计意义 | 重复跑几轮,看失败是否集中在某类输入 |
| 评测集当成一次性资产 | 业务变了、模型换了,用例会失真 | 按版本给用例打标签,定期清理过期条目 |
| 成本留到最后再算 | 步数和工具调用会放大开销 | 上线前定调用上限,用站内计算器估算 |
关于模型本身的选型与价格,别凭印象判断,直接到 站内价格追踪(/price-watch) 核对当时的数字;如果你打算用第三方中转,先过一遍 站内中转站检测(/sites) 再接入。
评测回答「有没有变好」,Agent 回答「能不能干完」;两句话问的不是一件事,别用一套指标回答两个问题。
最后补一句适用范围:如果任务本身极其简单、输入输出几乎固定,区分评测和 Agent 意义不大,按普通功能测试做就行;反过来,任务越长、环节越多,两者的边界就越要划清,否则回归测试会永远补不上。
下一步先把你的任务写成边界说明,再挑十几条用例搭最小评测;需要对照各家模型与工具时,到站内工具目录看当时的清单。→常见问题
做 AI 评测是不是一定要有 Agent?
不需要。评测体系的对象可以是单轮接口、检索链路或完整 Agent,取决于你要验证什么。只有当任务本身需要多步工具调用时,评测对象才会变成 Agent;单纯比回答质量,直接用固定用例打分更快。
我的 Agent 跑得挺顺,还要单独做评测吗?
要,但可以很轻。至少固定一批任务、记录完成情况和失败原因,改一次配置跑一遍对比。没有这个基线,你无法判断改动是变好还是运气好;规模不用大,能覆盖主要路径就够。
先做评测还是先做 Agent?
一般先定任务边界再搭小评测,然后才决定是否上 Agent。原因是评测能帮你判断「多步调用到底有没有带来提升」;反过来先做 Agent,很容易陷入不断加工具却说不清效果的循环。