智能体评测（Agent Evaluation）

智能体评测（Agent Evaluation）指 AI 智能体（Agent，能自主规划并调用工具完成任务的模型应用）的专项评测体系。与问答类大模型评测不同，它关注“能不能完成真实任务”：多步规划、工具调用、环境交互与错误恢复。它重要，是因为智能体的价值最终体现在交付结果上，过程再漂亮，办不成事也无意义。

与传统评测的区别

• 传统评测：单轮问答，比对答案准确率或文本相似度。
• 智能体评测：多轮交互，看最终任务是否完成、完成质量如何。
• 环境依赖：智能体评测必须在可交互环境中进行，结果带有路径依赖和随机性。
• 成本维度：同样的结果，步数与 token 消耗不同，工程价值差别很大。

评测看哪些维度

• 任务完成率：目标是否达成，例如修好一个 Bug、订到一张票。
• 效率：用了多少步、多少轮交互、多少 token，是否绕远路。
• 鲁棒性：遇到意外情况（页面改版、接口报错）能否恢复。
• 安全性：是否越权操作、是否泄露敏感信息、是否执行破坏性命令。
• 可复现性：同一任务多次运行结果是否稳定，波动多大。

常见基准

• SWE-bench：让智能体在真实代码仓库中修复缺陷，评估编程能力。
• GAIA：面向真实世界任务的通用智能体基准，强调检索与推理结合。
• WebArena：在模拟网站环境中评估网页操作类智能体。
• 自建任务集：把自身业务的高频任务整理成可判定的用例，往往比公开基准更有指导意义。

评测怎么做才靠谱

公开基准适合做横向参考，但真正决定上线的是自家任务上的表现。可行的做法是：先挑出高频且结果可判定的任务，为每个任务定义成功条件与验收脚本；再固定环境快照，避免外部接口变化导致分数漂移；最后让同一智能体在相同配置下重复运行多轮，记录成功率、平均步数与平均耗时。这样得到的结论既能对比不同模型与提示策略，也能在版本迭代时充当回归基线。

实践要点

• 先写判定标准：把“完成”定义成可自动判定的条件，否则评分会退化成主观印象。
• 多次运行取分布：智能体有随机性，看平均成功率与方差，而不是单次最好成绩。
• 分离能力与工程：失败要区分是模型能力不足，还是工具描述、重试策略等工程问题。
• 记录完整轨迹：保留每一步的输入输出，便于回放定位失败点。
• 把成本纳入评分：成功率相同则选更省步骤与算力的方案。

常见误区

• 用聊天基准评判智能体：单轮问答高分不代表能完成多步任务。
• 只测顺利路径：不注入异常与干扰，评测结果会明显高估真实能力。
• 指标单一：只看完成率会鼓励智能体不惜成本地试错，忽略效率与安全。
• 题目泄漏：把评测用例混进训练数据，分数再高也失去参考价值。