中科院自动化所推出RuleTrek基准:最强模型规则推理仅得五六成
你有没有算过税?如果算过,你大概会记得那种感觉:面前摊着工资单、房贷利息证明、社保缴费记录、还有一堆你根本看不懂的税收条文。你得先搞清楚自己算不算"税务居民",再确定哪些收入要申报,然后去找对应的扣除项,最后套用税率表算出最终该交多少钱。整个过程里,信息散落在五六个不同的文件里,规则又藏在几十页的政策...
你算过税吗?
算过的人多半记得那种滋味:工资单、房贷利息证明、社保缴费记录摊在面前,外加一堆看不懂的税收条文。第一步就得判断自己算不算……
这件事要是交给AI,它接得住吗?
中科院自动化所团队在一篇新论文里就问了这个问题,并给它取名RuleTrek——一个专门检验AI智能体能否在复杂场景中找准规则、用对规则的基准测试。结果不太好看:眼下最强的大模型,这类任务得分只有五六成,不少时候比抛硬币强不了多少。
问题出在哪?先看看过去的测试有多"简单"。
要弄明白RuleTrek的分量,得先知道以前的测试长什么样。
论文里举了个例子。一个经典测试叫
> 规则:
场景:Emma在2025年在该国待了200天,赚了6万美元的国内工资。
问题:Emma算2025年度的税务居民吗?
规则就两条,场景就两句话,答案几乎一眼可见:200天超过183天的门槛,所以是税务居民。这类题目考的是AI会不会做简单的逻辑匹配,而不是考它能不能在真实世界里摸爬滚打找出答案。
这就好比教人开车,只在空荡荡的停车场里练习倒车入库。练得再熟,到了真实的早高峰车流里,照样手忙脚乱。
如果AI始终只在"停车场"级别的环境里练手,会闹出什么乱子?那些经过简化的测试题,它轻松拿到95%以上的分数,看上去"规则推理"这道关已经过了。可场景一换成真实报税那种样子——资料东一份Excel、西一份Word,规则本身又有几十条彼此嵌套、相互牵连——AI马上现了原形。RuleTrek团队想戳破的,正是这层假象。
RuleTrek到底在测什么?三道关卡,层层递进。
RuleTrek选的场景都有真实出处,覆盖六个领域:税务、PostgreSQL数据库管理、网络安全、软件策略、政府采购,以及桌游规则(龙与地下城5版规则就是一例)。这些领域用到的规则文件,统统取自现实中的开源仓库——美国国税局的税务计算系统、NIST的网络安全标准、PostgreSQL官方文档,都在其列。
规则图
针对每个领域,研究者先让一个大模型从原始规则文档里提取出一张……
有了规则图之后,RuleTrek设计了三个层层递进的能力测试,分别叫
第一关是
第二关是
第三关是
这套做法跟体育测试里的分项考核差不多。一名篮球运动员投篮不准,还是跑位有问题?光看得分是分不出来的,得分别去测定点投篮命中率和无球跑动。只盯最终得分,你永远不清楚短板在哪一环。RuleTrek把"找规则"与"用规则"分开来测,用意就在这里——好判断AI究竟卡在哪一步。
场景是怎么"做"出来的?一块一块地拼。
这里有个很巧妙的设计,叫作……
要是让AI凭空造一个带十几条规则的复杂场景,会怎样?规则互相冲突、数字前后对不上、关键信息缺一块导致题目无解——这些毛病基本躲不掉。原因也简单:生成复杂场景这件事,本身就极其依赖细节的一致性。
研究团队想出的办法是化整为零。
子场景
研究者的做法是,先为规则图上的每条规则单独配一个小场景。拿"居住满183天算税务居民"来说,就做一张Excel表,记下某人每年在境内住了多少天。这种小场景够简单,只为验证这一条规则,不牵连别的规则,人工审核也省事,确保每个……
接着,研究者依照规则图里标出的依赖关系,把小场景逐个"焊"起来,拼出一个越来越复杂的综合场景。每焊一次都得重查一遍:新加的信息跟原场景冲不冲突?人名对得上吗?日期有没有撞车?数字单位是否一致?在现有规则下,这个综合场景还能不能解出唯一答案?
这过程像搭积木,但不是随手堆——每放一块,都要拿水平仪量一次。假如一口气把十几块全叠上去再找哪里歪了,基本无从下手,因为你压根不知道是哪一层出的毛病。反过来,每加一块就校一次平衡,一出问题立刻能定位到哪一步,当场修正。少了这道逐块校验、直接整体生成复杂场景,论文里提到的人工验证通过率,恐怕会从最终的100%掉到初审时的76.7%,返工代价要大得多。
这套流水线跑完,RuleTrek一共产出240个测试实例,分属六个领域,各领域包含的实例数在30到48之间。对应规则图的规模,平均每个有9.05个节点、8.69条边,平均
**11款头部大模型实测,结果如何?**
研究团队把
规则识别这一项,成绩最好的是
到了规则推演环节,即便把整理好的规则图直接交给AI,拔尖的仍是GPT-6.1-Sol,可得分也只有60.43%。这个数字耐人寻味:规则明明已经摆在眼前,AI仍有接近四成的概率算错。可见症结不只在“找不到规则”,还在于“即便找到了规则也未必套用得对”。
端到端推理的表现更差,分数从26.97%一路分布到55.29%。也就是说,在最贴近真实应用的测试中,最强的模型正确率也只是勉强过半,而垫底的模型十次里有七次以上出错。
| 模型 | 规则识别 | 规则推演 | 端到端推理 |
|---|---|---|---|
| **GPT-6.1-Sol** | **62.47** | **60.43** | **55.29** |
|
|
DeepSeek-V4.1-Flash | 59.21 | 56.39 | 50.06 |
| GPT-5.5 | 60.20 | 52.57 | 45.47 |
| Gemini-2.5-Flash | 33.35 | 35.26 | 26.97 |
表格里有一处细节不妨多留意:规则推演的分数普遍高出端到端推理3.79到8.15个百分点,这段落差正是“找规则”环节单独带来的损耗。换句话说,仅仅是从成堆原始文档中准确挑出该用的规则,就足以把AI的整体成绩拉低一大截。
**规则越复杂,AI越容易出错**
论文还做了一项很直观的分析,考察规则图复杂程度与AI表现之间的关联。
规则图在3个节点以内时,11个模型的平均端到端得分达到76.5分,表现相当可以。可节点数量一旦超过14个,分数就直落到23.6分。规则图深度上也呈现同样走向:依赖链条只有1层时平均得分62.3,等到依赖链条超过5层,就只剩下26.4分。
这个走向本身不难理解,但分数的跌幅还是有点出人意料。节点越多,AI要同时盯住的“活跃规则”就越多,漏掉一条便满盘皆输;依赖链条越深,要正确套用最后一条规则,前面就得连着对好几步,错一步就全错。好比多米诺骨牌,牌越多、排得越密,只要有一张倒错了方向,后面就连锁乱套。
**AI究竟错在哪?四类典型失败场景**
作者专门拆解了GPT-6.1-Sol在端到端任务中的失败原因,把错误分成四类:关键证据没找到、适用规则找错了、规则套用算错了、最终答案整理出错。统计结果显示,“适用规则找错了”占失败案例的54.9%,是毫无争议的头号原因。
有个具体案例很能说明问题。在一项网络安全的测试中,AI能认出一般性的防火墙要求,却漏掉了针对特定条件的精细化远程访问控制规则。在一个税务场景里,AI懂得如何计算最终税额,却漏掉了一条看着不起眼的“数据加载和税务年度初始化规则”,而这条规则恰恰是后面所有计算的前提。还有一个桌游规则场景,AI把“快速移动”和“缓慢移动”这两条外表相似、适用条件却完全不同的规则混作一谈。
这些错误说到底指向同一件事:规则与规则之间往往长得很像,可适用的前提条件相差甚远。
打个比方,好比去药店买药,说明书上写着“成人每次2片,儿童每次1片”。粗看是一条规则,实际是两条适用条件截然不同的规则被写在了一起。AI若没仔细分清“成人”和“儿童”这两个限定条件,直接把“每次2片”套到所有人身上,后果不难想象。规则识别考的正是这种辨微的能力,而这恰好是当下大模型最弱的一环。
论文里还给出一组格外生动的对照案例。在一个救援场景测试中,有一条规则是“
这组对照暴露的问题,不是“有没有找到规则”,而是“找到规则之后,能不能正确跟踪场景状态的变化”。规则好比地图上的一个路标,光看见路标不够,你还得记住自己走过哪些路、眼下身在何处。这个“位置感”若不持续更新,哪怕每一步看到的路标都没错,最终还是会走偏。
**回答生成得更长,就能算得更准吗?**
论文里还记录了一个跟直觉相反的结论。研究者把每个模型平均每项任务输出的 token 数拉出来,跟端到端最终得分摆在一起比对,两边几乎看不出相关性。有的模型话多、啰嗦,分数反倒不如那些干净利落的模型。
这戳破了一个挺常见的想法:不少人下意识认定,AI 想得越久、写得更细,答案就越靠得住。可这批数据给出的信号是,成败跟思考过程的"长度"关系不大,关键在于那段过程里有没有抓住要害信息、有没有把规则用对。好比考试把答题纸写得满满当当,未必能拿高分;思路一开始就歪了,写得越多只是在错误的方向上跑得越远。
**这套打分靠不靠谱?他们专门验证了一遍**
有个细节做得不错:研究团队并没有直接采信 AI 裁判给出的分数,而是另外请了人类专家来做交叉验证。
人类专家与 AI 裁判之间的打分相关系数落在 0.822 到 0.857 这个区间,而两位人类专家彼此之间的相关系数是 0.933 到 0.951。也就是说,AI 裁判的打分有参考价值,但跟人类专家相比仍有距离,没有完全对上。
为了把 AI 裁判自身可能夹带的偏见排除掉,研究者又换用了另外两个不同家族的大模型(
Q&A
Q1:RuleTrek是什么?
A:RuleTrek由中科院团队提出,是一个多领域基准测试,用来评估 AI 智能体在复杂真实场景下识别规则、应用规则的能力,覆盖税务、数据库、网络安全、软件策略、政府采购和游戏规则六大领域。
Q2:RuleTrek测试结果显示AI表现如何?
A:11 个前沿大模型在规则识别与规则推演两项任务上的最高分只有 62.47% 和 60.43%,端到端推理得分介于 26.97% 到 55.29% 之间。可见眼下 AI 在复杂规则推理上短板仍然明显。
Q3:RuleTrek和以前的规则推理测试有什么不同?
A:以往的测试往往只用几句话交代场景事实,RuleTrek 则要求 AI 把散落在多个文件里的复杂信息拼合起来,还要从真实的规则文档中找出适用规则并加以运用,难度更接近现实世界。