τ-bench（工具调用智能体基准）

τ-bench 把工具调用评测放进带业务规则的仿真环境：模型扮演客服或助理，与模拟用户多轮对话，通过调用工具读写数据来完成任务。它同时考察任务是否完成与规则是否被遵守，因此能暴露「为了把事办成而违规操作」这类在单轮函数调用评测里看不到的失败模式。

仿真环境里有什么

环境包含一组明确的领域规则，例如退款需在时限内、改签要收手续费、某些操作必须先核实身份。模型要先弄清用户诉求，再选择合适的工具并给出正确参数，中途还要处理信息不全、用户改口与前后矛盾的情况。难点不在会不会调用，而在什么时候该调用、参数该填什么、以及哪些事不该做。环境里的数据会在对话中被真实修改，一次错误的写操作会留下痕迹，后续步骤必须在这个被改过的状态上继续，这与只读的问答式评测有本质区别。

怎么打分

• 结果比对：对话结束后比对最终数据库状态与标注的目标状态是否完全一致，属于二值判定，没有部分分。
• 规则遵守：违反业务规则即使任务达成也判失败，避免用越权操作换取成功率。
• 多轮一致性：模拟用户会追问、改主意或提供矛盾信息，考察模型能否维持状态并适时澄清而不是硬猜。
• 过程约束：对话轮数上限与可用工具集合决定难度，跨报告比较前要确认这些设置一致。
• 可靠性判定：同一任务独立跑 k 次、全部成功的比例（pass^k），用来区分偶尔做成与稳定做成。

看结果时注意什么

• 完成率与合规率分开看：两者都高才算稳；完成率高而合规率低，说明模型倾向绕过限制。
• 用户模拟器的影响：模拟用户由模型驱动，其表达风格与配合程度会改变结果，最好配少量人工抽检。
• 规则覆盖范围有限：环境只覆盖写进规则的业务约束，得分高不代表能处理未写明的例外情况。
• 与函数调用评测的区别：后者只看单次调用的参数是否正确，这里把状态变化、多轮交互与规则约束一起纳入判定。

把它当作流程正确性的体检而不是能力排名：同一模型换一套用户模拟器，分数可能相差明显，只有固定环境、固定用户策略、固定轮数上限的数字才具备可比性。上线前还应补人工评审，因为业务规则之外还有大量只能靠经验判断的边界。