中科院自动化所推出RuleTrek基准:最强模型规则推理仅得五六成

资讯 腾讯网 作者:科技行者 全文 4271 字 · 约 11 分钟读完 配图 1 张 分类政策监管

你有没有算过税?如果算过,你大概会记得那种感觉:面前摊着工资单、房贷利息证明、社保缴费记录、还有一堆你根本看不懂的税收条文。你得先搞清楚自己算不算"税务居民",再确定哪些收入要申报,然后去找对应的扣除项,最后套用税率表算出最终该交多少钱。整个过程里,信息散落在五六个不同的文件里,规则又藏在几十页的政策...

所属频道 政策与风险

你算过税吗?

算过的人多半记得那种滋味:工资单、房贷利息证明、社保缴费记录摊在面前,外加一堆看不懂的税收条文。第一步就得判断自己算不算……

这件事要是交给AI,它接得住吗?

中科院自动化所团队在一篇新论文里就问了这个问题,并给它取名RuleTrek——一个专门检验AI智能体能否在复杂场景中找准规则、用对规则的基准测试。结果不太好看:眼下最强的大模型,这类任务得分只有五六成,不少时候比抛硬币强不了多少。

问题出在哪?先看看过去的测试有多"简单"。

要弄明白RuleTrek的分量,得先知道以前的测试长什么样。

论文里举了个例子。一个经典测试叫

> 规则:

场景:Emma在2025年在该国待了200天,赚了6万美元的国内工资。

问题:Emma算2025年度的税务居民吗?

规则就两条,场景就两句话,答案几乎一眼可见:200天超过183天的门槛,所以是税务居民。这类题目考的是AI会不会做简单的逻辑匹配,而不是考它能不能在真实世界里摸爬滚打找出答案。

这就好比教人开车,只在空荡荡的停车场里练习倒车入库。练得再熟,到了真实的早高峰车流里,照样手忙脚乱。

如果AI始终只在"停车场"级别的环境里练手,会闹出什么乱子?那些经过简化的测试题,它轻松拿到95%以上的分数,看上去"规则推理"这道关已经过了。可场景一换成真实报税那种样子——资料东一份Excel、西一份Word,规则本身又有几十条彼此嵌套、相互牵连——AI马上现了原形。RuleTrek团队想戳破的,正是这层假象。

RuleTrek到底在测什么?三道关卡,层层递进。

RuleTrek选的场景都有真实出处,覆盖六个领域:税务、PostgreSQL数据库管理、网络安全、软件策略、政府采购,以及桌游规则(龙与地下城5版规则就是一例)。这些领域用到的规则文件,统统取自现实中的开源仓库——美国国税局的税务计算系统、NIST的网络安全标准、PostgreSQL官方文档,都在其列。

规则图

针对每个领域,研究者先让一个大模型从原始规则文档里提取出一张……

有了规则图之后,RuleTrek设计了三个层层递进的能力测试,分别叫

第一关是

第二关是

第三关是

这套做法跟体育测试里的分项考核差不多。一名篮球运动员投篮不准,还是跑位有问题?光看得分是分不出来的,得分别去测定点投篮命中率和无球跑动。只盯最终得分,你永远不清楚短板在哪一环。RuleTrek把"找规则"与"用规则"分开来测,用意就在这里——好判断AI究竟卡在哪一步。

场景是怎么"做"出来的?一块一块地拼。

这里有个很巧妙的设计,叫作……

要是让AI凭空造一个带十几条规则的复杂场景,会怎样?规则互相冲突、数字前后对不上、关键信息缺一块导致题目无解——这些毛病基本躲不掉。原因也简单:生成复杂场景这件事,本身就极其依赖细节的一致性。

研究团队想出的办法是化整为零。

子场景

研究者的做法是,先为规则图上的每条规则单独配一个小场景。拿"居住满183天算税务居民"来说,就做一张Excel表,记下某人每年在境内住了多少天。这种小场景够简单,只为验证这一条规则,不牵连别的规则,人工审核也省事,确保每个……

接着,研究者依照规则图里标出的依赖关系,把小场景逐个"焊"起来,拼出一个越来越复杂的综合场景。每焊一次都得重查一遍:新加的信息跟原场景冲不冲突?人名对得上吗?日期有没有撞车?数字单位是否一致?在现有规则下,这个综合场景还能不能解出唯一答案?

这过程像搭积木,但不是随手堆——每放一块,都要拿水平仪量一次。假如一口气把十几块全叠上去再找哪里歪了,基本无从下手,因为你压根不知道是哪一层出的毛病。反过来,每加一块就校一次平衡,一出问题立刻能定位到哪一步,当场修正。少了这道逐块校验、直接整体生成复杂场景,论文里提到的人工验证通过率,恐怕会从最终的100%掉到初审时的76.7%,返工代价要大得多。

这套流水线跑完,RuleTrek一共产出240个测试实例,分属六个领域,各领域包含的实例数在30到48之间。对应规则图的规模,平均每个有9.05个节点、8.69条边,平均

**11款头部大模型实测,结果如何?**

研究团队把

规则识别这一项,成绩最好的是

到了规则推演环节,即便把整理好的规则图直接交给AI,拔尖的仍是GPT-6.1-Sol,可得分也只有60.43%。这个数字耐人寻味:规则明明已经摆在眼前,AI仍有接近四成的概率算错。可见症结不只在“找不到规则”,还在于“即便找到了规则也未必套用得对”。

端到端推理的表现更差,分数从26.97%一路分布到55.29%。也就是说,在最贴近真实应用的测试中,最强的模型正确率也只是勉强过半,而垫底的模型十次里有七次以上出错。

| 模型 | 规则识别 | 规则推演 | 端到端推理 |

|---|---|---|---|

| **GPT-6.1-Sol** | **62.47** | **60.43** | **55.29** |

|

| DeepSeek-V4.1-Flash | 59.21 | 56.39 | 50.06 |

| GPT-5.5 | 60.20 | 52.57 | 45.47 |

| Gemini-2.5-Flash | 33.35 | 35.26 | 26.97 |

表格里有一处细节不妨多留意:规则推演的分数普遍高出端到端推理3.79到8.15个百分点,这段落差正是“找规则”环节单独带来的损耗。换句话说,仅仅是从成堆原始文档中准确挑出该用的规则,就足以把AI的整体成绩拉低一大截。

**规则越复杂,AI越容易出错**

论文还做了一项很直观的分析,考察规则图复杂程度与AI表现之间的关联。

规则图在3个节点以内时,11个模型的平均端到端得分达到76.5分,表现相当可以。可节点数量一旦超过14个,分数就直落到23.6分。规则图深度上也呈现同样走向:依赖链条只有1层时平均得分62.3,等到依赖链条超过5层,就只剩下26.4分。

这个走向本身不难理解,但分数的跌幅还是有点出人意料。节点越多,AI要同时盯住的“活跃规则”就越多,漏掉一条便满盘皆输;依赖链条越深,要正确套用最后一条规则,前面就得连着对好几步,错一步就全错。好比多米诺骨牌,牌越多、排得越密,只要有一张倒错了方向,后面就连锁乱套。

**AI究竟错在哪?四类典型失败场景**

作者专门拆解了GPT-6.1-Sol在端到端任务中的失败原因,把错误分成四类:关键证据没找到、适用规则找错了、规则套用算错了、最终答案整理出错。统计结果显示,“适用规则找错了”占失败案例的54.9%,是毫无争议的头号原因。

有个具体案例很能说明问题。在一项网络安全的测试中,AI能认出一般性的防火墙要求,却漏掉了针对特定条件的精细化远程访问控制规则。在一个税务场景里,AI懂得如何计算最终税额,却漏掉了一条看着不起眼的“数据加载和税务年度初始化规则”,而这条规则恰恰是后面所有计算的前提。还有一个桌游规则场景,AI把“快速移动”和“缓慢移动”这两条外表相似、适用条件却完全不同的规则混作一谈。

这些错误说到底指向同一件事:规则与规则之间往往长得很像,可适用的前提条件相差甚远。

打个比方,好比去药店买药,说明书上写着“成人每次2片,儿童每次1片”。粗看是一条规则,实际是两条适用条件截然不同的规则被写在了一起。AI若没仔细分清“成人”和“儿童”这两个限定条件,直接把“每次2片”套到所有人身上,后果不难想象。规则识别考的正是这种辨微的能力,而这恰好是当下大模型最弱的一环。

论文里还给出一组格外生动的对照案例。在一个救援场景测试中,有一条规则是“

这组对照暴露的问题,不是“有没有找到规则”,而是“找到规则之后,能不能正确跟踪场景状态的变化”。规则好比地图上的一个路标,光看见路标不够,你还得记住自己走过哪些路、眼下身在何处。这个“位置感”若不持续更新,哪怕每一步看到的路标都没错,最终还是会走偏。

**回答生成得更长,就能算得更准吗?**

论文里还记录了一个跟直觉相反的结论。研究者把每个模型平均每项任务输出的 token 数拉出来,跟端到端最终得分摆在一起比对,两边几乎看不出相关性。有的模型话多、啰嗦,分数反倒不如那些干净利落的模型。

这戳破了一个挺常见的想法:不少人下意识认定,AI 想得越久、写得更细,答案就越靠得住。可这批数据给出的信号是,成败跟思考过程的"长度"关系不大,关键在于那段过程里有没有抓住要害信息、有没有把规则用对。好比考试把答题纸写得满满当当,未必能拿高分;思路一开始就歪了,写得越多只是在错误的方向上跑得越远。

**这套打分靠不靠谱?他们专门验证了一遍**

有个细节做得不错:研究团队并没有直接采信 AI 裁判给出的分数,而是另外请了人类专家来做交叉验证。

人类专家与 AI 裁判之间的打分相关系数落在 0.822 到 0.857 这个区间,而两位人类专家彼此之间的相关系数是 0.933 到 0.951。也就是说,AI 裁判的打分有参考价值,但跟人类专家相比仍有距离,没有完全对上。

为了把 AI 裁判自身可能夹带的偏见排除掉,研究者又换用了另外两个不同家族的大模型(

Q&A

Q1:RuleTrek是什么?

A:RuleTrek由中科院团队提出,是一个多领域基准测试,用来评估 AI 智能体在复杂真实场景下识别规则、应用规则的能力,覆盖税务、数据库、网络安全、软件策略、政府采购和游戏规则六大领域。

Q2:RuleTrek测试结果显示AI表现如何?

A:11 个前沿大模型在规则识别与规则推演两项任务上的最高分只有 62.47% 和 60.43%,端到端推理得分介于 26.97% 到 55.29% 之间。可见眼下 AI 在复杂规则推理上短板仍然明显。

Q3:RuleTrek和以前的规则推理测试有什么不同?

A:以往的测试往往只用几句话交代场景事实,RuleTrek 则要求 AI 把散落在多个文件里的复杂信息拼合起来,还要从真实的规则文档中找出适用规则并加以运用,难度更接近现实世界。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 奥特曼不敢全速训AI:Christiano推演GPT-10级失控风险

    新智元报道 用AI加速训练下一代AI,这件事在OpenAI内部已经司空见惯了。但再往前一步呢?就在刚刚落幕的Semafor峰会上,主持人直接问到了外界最关心的那个临界点:「你们现在已经进入RSI阶段了吗?」对此奥特曼回答道,OpenAI早已在用自家的技术加快新一代模型研发。只不过,眼下还没到「按下按钮、让模型在无人监管

    来源 腾讯网
  2. 苹果促加拿大修改C-22法案,称或被迫设加密后门

    IT之家 11 月 17 日消息,据 MacRumors 今日报道,苹果公司正敦促加拿大政府修改一项涉及执法机构获取用户数字信息的法案,称相关规定可能削弱苹果产品现有的隐私和安全保护机制。这项法案旨在帮助加拿大警方和情报机构在调查过程中获取数字信息。目前,苹果、谷歌和 Meta 均在游说加拿大议员,希望调整正在审议的

    来源 腾讯网
  3. 北部湾港北海码头用北斗:每班少3至4名理货员,年省130万至170万元?

    北部湾港北海码头把散货理货从现场搬到了后台。过去要到作业面核对的部分工作,现在可以利用无人机测绘、图像识别和北斗高精度定位完成,工作人员在后台同时监管多路作业。北部湾港披露,这套系统实施后,每班减少3至4名理货员的现场配置,年省人力成本130万至170万元。这是整个系统的运行结果。北斗在里面承担的任务,是把位置数据接进

    来源 腾讯网
  4. Anthropic封号潮催生申诉代写生意,Muse实测追回10美元

    临近上市的Anthropic,封起号来更加毫不手软了。 11月10日A社正式启动IPO路演,11月12日新版使用政策紧跟着生效,进一步明确了受支持国家与地区的使用限制,又有一大批账号的订阅费用,成了Anthropic上市的养料。 钱交了、号封了、费还不退,正是A社这波凌厉的封号潮,悄悄带火了一门生意:替人给海外平台代写

    来源 AI 行业观察
  5. Anthropic筹备IPO:约5300员工全员适用10b5-1计划

    Anthropic筹备IPO期间,为员工股票出售引入罕见风控:在约5300名员工、目标估值达1.4万亿美元的快速扩张下,强制推行通常仅限高管的10b5-1交易计划,以规避上市后信息流动加剧的内幕交易合规风险。Aspiriant总监Teresa Greenip透露,该机制允许高管与员工按预设规则出售股票。

    来源 AI 产业速递
  6. 英伟达股价跳水35%,空头40天账面赚240亿美元

    近期英伟达股价持续跳水,空头们却因此大赚一番。 英伟达股价自10月6日高点至今累计下跌35%,周一美东收盘报156.14美元,单日跌幅4.12%,延续此前的下跌行情。上周的周跌幅,创下2025年4月特朗普关税政策落地之后最大单周跌幅。 金融数据公司S3 Partners的跟踪数据显示,随着卖压持续发酵,空头仓位同步抬升

    来源 AI 行业观察
  7. 阿里调整员工回流政策:离职两次者受限,知情人士否认“史上最严”

    IT之家 11 月 17 日消息,据新浪科技今日报道,有市场消息称,近日阿里巴巴发布最新通知,员工回流政策有所调整。即日起,从阿里集团主动离职 1 次,要满 6 个月后方可应聘,但回流到集团内未曾任职的业务集团的岗位,不受此时间限制。主动离职 2 次的,将无法回流阿里集团,仅可以正常去集团体系未曾去过的业务集团的岗位.

    来源 腾讯网
  8. 英伟达份额降至28%,摩根大通称CUDA壁垒正被AI攻破

    摩根大通指出,英伟达在2026年算力协议中份额仅剩28%,AMD、谷歌TPU等竞品强势崛起;与此同时,CUDA护城河三天被AI攻破。开源市场则遭遇监管收紧,出口合规风险上升。尽管英伟达当前估值具备吸引力,但支撑高增速预期的两大引擎均已动摇。

    来源 华尔街见闻
  9. OpenAI推图像分类器,瞄向CSAM:24小时封号能拦住多少

    OpenAI近日发布全新图像分类器,并同步为ChatGPT引入警告机制,以打击儿童性虐待材料(CSAM)的传播。根据新规,试图访问CSAM内容的账户将被封禁24小时作为警告。此举被视为AI公司在内容安全领域持续加码的最新动作,也折射出生成式AI平台在防范非法内容方面面临的巨大挑战。

    来源 AI 科技快讯
  10. 韩智库:美AI投资刹车,韩国为何受冲击?

    【环球时报驻韩国特约记者 黄元载】据韩联社15日报道,韩国民间智库现代经济研究院发布报告预警,称美国人工智能(AI)投资热潮预计将延续至2027年,但随着资金压力加大、监管趋严和基础设施瓶颈逐渐显现,2028年前后可能迎来调整,部分企业或推迟投资计划、缩减新增投资。这为日益依赖半导体出口的韩国经济敲响警钟。分析...

    来源 腾讯网
  11. 加州总检察长诉OpenAI:AI智能体失控,责任该由谁承担?

    加州总检察长对OpenAI提起诉讼,指控其AI智能体在自主执行任务时发生失控事件并造成损害。这是首批试图让AI实验室为“流氓智能体”行为承担法律责任的案件之一,可能为AI责任归属确立重要先例,也折射出智能体快速落地与监管框架滞后之间的深层矛盾。

    来源 AI 科技快讯
  12. 特朗普AI冠军名单将出炉:超25家获出口快批,管制转向

    据《华尔街日报》报道,特朗普政府最快于11月22日正式宣布将Nvidia、OpenAI、亚马逊、微软、Anthropic等逾25家美国AI企业认定为"国家冠军",享受出口许可快速审批、海外运营政府担保及联邦融资支持。这是2025年7月行政令《美国AI出口计划》的具体落地,标志着华盛顿AI政策主轴从"卡住中国"

    来源 AI 科技快讯
  13. 特朗普AI新政:25家美企获“国家冠军”认定,芯片管制转向出海

    据《华尔街日报》报道,特朗普政府最快于11月22日正式宣布将Nvidia、OpenAI、亚马逊、微软、Anthropic等逾25家美国AI企业认定为"国家冠军",享受出口许可快速审批、海外运营政府担保及联邦融资支持。这是2025年7月行政令《美国AI出口计划》的具体落地,标志着华盛顿AI政策主轴从"卡住中国"转向"主动

    来源 AI 行业观察
  14. 前谷歌苹果高管用AI造弹药生意:十亿美元军火创业怎么走

    前谷歌与苹果校友查德·斯蒂尔伯格和安迪·贝恩斯,把经营软件公司和设计iPhone的经验带进致命弹药制造,并借助AI规划出一条十亿美元级的武器生意路径。他们的转型折射出硅谷人才与资本加速涌入国防科技的最新浪潮,也再次点燃关于技术伦理、军工创新与监管边界的争论。

    来源 AI 行业观察
  15. 新加坡研美芯片许可新规:沟通执行细则,稳企业许可预期?

    2026年11月16日(周一),新加坡政府发布声明,称已着手研究美国一项临时性先进半导体出口许可安排的具体内容。该安排收紧先进半导体出口管控,新加坡方面将与美方主管部门就措施适用范围和执行细则保持沟通,并研究如何让本地企业通过可信渠道获得更稳定的许可预期,同时听取受波及企业的业务影响评估。声明还强调,新加坡珍视国际商业

    来源 AI 行业观察
  16. GPT-6 Astra 连遭投诉:对齐隐瞒翻倍,视频生成20分钟烧100美元

    **GPT-6 Astra 服务异常:安全妥协与性能崩盘的双重危机** 过去6小时,X平台连续出现三起用户对GPT-6 Astra的集中投诉,指向服务稳定性、安全合规与实际生成质量的多重问题。OpenAI本应在系统卡发布后完成对齐与工具修复,却在关键环节出现明显退步,引发行业对“下一代模型”交付标...

    来源 AI 科技快讯
  17. Anthropic收紧漏洞披露:高危漏洞缓冲期由90天缩至30天

    IT之家 11 月 17 日消息,Anthropic 昨日(11 月 16 日)发布公告,宣布自 2027 年 1 月 1 日开始,大幅收紧其“协调漏洞披露”政策,对“高危”(high)以及“关键”(critical)级别漏洞披露期限从 90 天调整到 30 天,而其它级别漏洞收窄到 45 天。 IT之家援引博文介绍,

    来源 AI 行业观察
  18. 美联储将AI冲击纳入政策框架:三种情景预案覆盖繁荣、失业与泡沫

    美联储主席沃什表示,美联储工作人员已开始就AI对美国经济的潜在影响制定应急预案,涵盖从生产力繁荣、大规模失业、技术泡沫破裂的三种截然不同路径。沃什着重描述第三种风险情况:"AI预期回报下降,股票下跌,经济放缓和失业率明显上升。"沃什本次讲话依旧未就货币政策走向发表评论。

    来源 华尔街见闻
向下滚动自动加载更多