终端智能体基准（Terminal-Bench）

终端智能体基准是一类面向命令行环境的评测集合，任务形如「在这个容器里配置某项服务，并让它通过检查」。模型需要自己敲命令、观察输出、根据报错调整方案，直到满足验收条件。它衡量的是智能体在真实系统中的动手能力，包括读文档、改配置、处理权限与依赖冲突等环节。评测通常在隔离的容器里进行，任务结束后统一校验，避免人为干预结果。

考察的能力

• 环境感知：先探查目录结构与已有工具，再决定动手方式。
• 错误恢复：命令失败后能看懂报错并修正，而不是重复同样的操作。
• 多步规划：把目标拆成可验证的小步骤，逐步推进并自检结果。
• 安全边界：避免执行破坏性命令，对高风险操作保持谨慎。
• 过程控制：控制命令输出量与执行时长，避免陷入无效循环。

为什么更贴近实战

与只看最终文本答案的基准不同，终端任务通常配有客观的验收脚本，做到就是做到、没做到就是没做到，评分不依赖人工印象。这类评测与开发者的实际使用场景更贴近，能反映智能体在较少人工干预下完成任务的成功率与稳定性，也更容易暴露「看起来会、实际跑不通」的问题。相比之下，纯问答评测很难体现工具调用失败后的恢复能力。同一任务重复运行时，成功率的稳定性往往比单次通过更有参考价值。

实践要点

• 先做只读探查：在改动系统前确认环境、版本与权限，降低试错成本。
• 保留可回滚点：改动配置文件前备份，出问题时能快速恢复现场。
• 控制单步输出：给命令加安静模式或截断输出，避免上下文被日志淹没。
• 设定验收条件：把「完成」定义成可执行的检查命令，而不是主观判断。
• 记录执行轨迹：保留命令与输出，复盘时才能看清是哪一步走偏。

常见误区

• 只看任务是否完成：还要看是否绕过了合理路径，例如直接改验收脚本。
• 忽略环境差异：同一任务在不同基础镜像上的难度差别很大，结果不可直接比较。
• 放任重试：无限重试会掩盖规划能力的不足，也会显著拉长耗时。
• 忽略耗时与步数：任务虽然完成，但消耗大量步骤，说明执行效率仍有问题。

与人工运维的差别

终端任务多是单目标、可验收的短任务，而真实运维还要处理沟通、变更窗口与历史包袱。因此基准成绩好，只说明在受控环境里执行顺畅，是否能在复杂组织中推进工作，还要看协作与判断能力。