20个大模型测世界模型:最强GPT-6 Astra仅49.57%,631题全军覆没
2026年秋天,有一件事挺值得说道说道。一群研究者给20个当下最强的语言模型出了一套题,题目不难理解:给你一段完整的操作记录,告诉你用户刚刚做了什么动作,你来预测这个虚拟世界接下来会变成什么样。听起来像是模型应该擅长的事情,毕竟它们见过海量的代码、数据库操作、游戏逻辑。结果呢?表现最好的模型,也只答对了不到一半的...
2026年秋天,有件挺值得说道说道的事。
一群研究者给20个当下最强的语言模型出了套题。题目本身不难理解:给一段完整的操作记录,告诉你用户刚做了什么动作,让你预测这个虚拟世界接下来会变成什么样。按理说这该是模型擅长的活儿——它们见过海量代码、数据库操作和游戏逻辑。
结果呢?
可表现最好的模型也只答对不到一半。更有631道题,20个模型全军覆没,一个都没蒙对。
论文名叫GLOBEBENCH,出自Patronus AI团队,是一套评测基准。它测的不是模型会不会聊天、会不会写代码,而是更底层、也更容易被忽视的一项能力:模型能不能当一个靠谱的“世界模型”。
这事为什么重要,得从一个正在发生的趋势讲起。
这个
眼下训练AI智能体,有个很火的路子:用另一个语言模型来模拟环境。
麻烦在于,真实环境太贵也太慢。
打个比方,你要训练AI去操作企业数据库系统,每次试错都得真连一个数据库、真执行一条SQL、真等结果返回。想让它试错十万次、百万次,成本谁都扛不住,服务器撑不住,时间也等不起。
于是有人出了个主意:干脆用另一个语言模型来充当这个环境。智能体做一个动作,这个“模型环境”就回一段反馈。
思路本身没毛病,但有个致命前提:万一这个“模型环境”自己就不准呢?
答案就是,AI智能体会学出一套专门钻“假环境漏洞”的行为模式,而非真实世界的规律。
这就像你想培养一个厨师,却不让进真厨房,只给他看一套“模拟厨房”的说明书。说明书写错了,比如写着“油锅起火了往里倒水就能灭火”,厨师照着练上一百遍,练得滚瓜烂熟。等他真进了厨房,头一回碰上油锅起火,他会很自信地往里倒水,然后酿成大祸。模拟环境教得越“熟练”,错误被巩固得越深,这比完全不练更危险。这也是为什么非得专门去检验这些“世界模型”不可。
GLOBEBENCH要解决的正是这个问题:在没人系统性检查之前,谁也不知道这些AI世界模型到底哪里会出错,错得有多离谱。
题目是怎么出的
研究团队一共设计了1632道测试题,横跨五个领域:代码操作、企业软件、游戏、数学科学、多轮对话。
每道题的结构都很简单。给模型看一段完整的操作历史,里面包含很多轮之前的动作和环境反馈,最后给出一个新动作,让模型预测这个动作执行后世界会变成什么样。
巧妙的关键在于,这个“正确答案”不是人写的,而是真在一个固定的后端系统里跑出来的。
执行后端
为什么非要这么做?因为答案要是人写的,人也可能写错,标准还不统一。让真实系统去跑,答案永远客观、可复现,就跟物理实验一样,环境参数固定,结果就是唯一的。
题目还被划成19种“技能”,比如你得记得十几轮之前写入的一个数值(这叫“……”)。
研究团队还给每道题标了两个关键难度指标。
一个叫"
影响半径
这个
表现最好的模型,也只对了一半
正式测试跑了20个模型,包括18个通用大语言模型(GPT-6系列、Claude系列、Gemini、Grok、Qwen等),外加两个专门训练来做世界模拟的模型。
结果GPT-6 Astra拿了第一,成绩49.57%。
这算个什么概念?一枚硬币扔十次,正面朝上的概率大概50%。这类比当然不完全准确,毕竟题目不是二选一,但这个数字确实说明,即便是业界最强的模型,在这件事上也就刚刚过及格线。
更扎心的还在后头:Grok 4.6 排第二,成绩 28.13%;Claude Opus 5.5 以 26.35% 位列第三;Qwen 3.8 Max 拿到 25.31%,居第四。头名和第二名之间整整差了 21 个百分点。这个差距有多大?换成题目数量算,GPT-6 Astra 比第二名多答对了 350 道题。
反观那两个专门为这项任务训练出来的"世界模型",表现不升反降。
模型在哪些情况下输得最惨
这恰恰是整篇论文最该细看的地方。研究者注意到,模型的表现并非一路均匀往下滑,而是在某些特定条件下出现断崖式崩溃。
先看影响半径这个维度。动作完全不改变任何状态时(L0),20 个模型平均能答对 43.49%。动作只波及被点名的一两个对象时(L1 和 L2),成绩差不多,都在 27% 上下。可一旦进入 L3,也就是动作效果蔓延到没被点名的关联对象,平均成绩直接跳水到 5.10%。
27% 掉到 5%,等于砍掉了五分之四的准确率。
这说明了什么?"你让我改 A,我就改 A"这类直接任务,模型基本能应付;但只要牵扯到"你让我改 A,而 A 还连着 B、C、D,这些也得跟着变",模型就几乎集体抓瞎。
打个比方:你让一个新员工去改办公室里某份合同的价格条款,他能把价格改得准确无误。可如果这份合同背后还牵着十几份关联协议,价格一动,税费计算、违约金基准、分期还款表都得连锁更新,多数新员工根本意识不到这层关联,只盯着你直接交代的那句话,改完合同上的数字就交差,后面一串隐藏的连锁反应全漏掉了。训练 AI 智能体时若完全依赖这种世界模型,智能体学到的会是一种"头痛医头、脚疼也不管"的浅层应对方式,放到真实复杂系统里,各种隐藏 bug 就会层出不穷。
再看
关键信息落在最近 40 轮对话以内时,20 个模型平均能答对 42.3%;一旦这个信息藏到 40 轮以外,平均成绩跌到 11.4%,几乎是腰斩之后再腰斩。
研究者还做了个细分实验,把"长对话里藏着缓慢变化的关键状态、输出结果又很长"的那类题目单独挑出来看。这类题目要求模型记住几十上百轮之前设定的某个参数,中途这个参数可能被反复改动几十次,系统从不会把当前值直接打印出来,模型得自己在脑子里一直追踪它的变化。
这类题目上,平均成绩只有 5.1%。差不多等于一百道题,20 个模型加起来平均只蒙对 5 道。
GPT-6 Astra 在这类题上的表现值得琢磨。Grok 4.6 并不是推理能力差——它拿到一个数字(哪怕是错的),后续计算几乎都对。它输在最初那一步:没能在几百轮对话里把这个隐藏变量稳稳追踪住。这就像一个会计师,每一步算账逻辑都严丝合缝,可账本翻到第一页时抄错了一个初始余额,后面算得再精确,结果也全盘皆错。
研究者还发现一个很能说明问题的现象:这类需要长程状态追踪的题目上,GPT-6 Astra 的输出 token 数量中位数只有 8300,Grok 4.6 则要 39900,将近五倍。这说明 Astra 可能不是靠"多想多算"硬扛过去的,而是确实在某种程度上更稳地记住了状态;不少同类模型要么算错,要么干脆放弃,直接回一句"我没法可靠地算出这个值"。
开源与闭源模型,出错方式并不相同
另一个有意思的发现是,开源模型和闭源模型犯错的"风格"有差别。开源模型更容易给出数值错误、但整体结构正确的答案,这类情况占它们全部失败案例的 58.22%。闭源模型则更容易漏掉或多出不该有的字段,这种结构性错误占到 31.54%。
研究者把这一差距归因到闭源阵营里的几个 Claude 系列模型身上。Claude 的几个版本有一个特别高的……
成功率最高的领域是游戏类(27.8%)和企业软件类(25.5%),最低的是数学科学类(11.7%)和多轮对话类(11.8%)。研究者指出,这一差异很大程度上跟各领域里"需要……"有关。
人类如何看这些测试结果
光靠机器打分还不够。研究团队专门请了 6 位有计算机科学背景、懂工具调用、会写 SQL 和 Shell 命令的专业标注员,人工审核了 200 道题的"标准答案"质量。
结果让研究者松了一口气:就"状态一致性"这一项,标注员给出的意见100%一致,全部打了满分。换句话说,靠真实系统执行跑出来的答案,确实经得起专业人员审视。分歧相对多一些的是"接口真实感"这一维,也就是返回格式够不够像真实系统,约80.8%的标注员评分相同;这部分分歧大多源于对探测用途的特殊工具格式理解不一。
研究者又用另一个语言模型GPT-5.6 Terra,对余下1627道题做了同样的打分。有意思的是,它在"状态一致性"上比人类标注员还苛刻,有9道题人类全给满分,它却打了低分。追查下去发现,这个AI判官有一半情况是自己把历史记录里的求和、计数重算了一遍,得出了和标准答案不一样的数字;人工复查后确认,错的是AI判官,标准答案没问题。这成了整篇论文里一个颇有意味的插曲:负责挑错的AI,自己也会犯"长历史记不住、数字算错"的毛病。
在这篇论文之前,相关做法是什么样
在GLOBEBENCH出现之前,已有若干工作在尝试评估语言模型当
一篇叫
GLOBEBENCH与前作最大的差别在颗粒度。过去的评测给一整条预测的观察结果打一个综合分;GLOBEBENCH则把每道题都设计成只考一种特定技能,题目还要过12道自动筛选关卡,确保无法靠投机取巧绕开真正要考的能力。于是模型失败时,研究者能看清是哪项能力掉了链子,而不是只拿到一句笼统的"表现不好"。
接下来会往哪些方向走
论文发布后,已经能看到一些延伸思路。论文本身提到的
另一个受关注的方向,是Deshpande在2026年的工作,尝试用
写在后面
读完这篇论文,让我意外的不是模型表现差,而是差得如此有规律。
它并非在各种题目上随机抽风,而是精准地在两类任务上集体崩盘:一类要跨越长距离回忆隐藏状态,一类要让改动波及未被点名的关联对象。这种规律性反倒让人有些后怕——眼下若拿一个通用大模型去当训练智能体的世界模拟器,它很可能在你最需要它靠谱的复杂场景里,悄无声息地、系统性地撒谎。
还有个细节我琢磨了很久:专门训练的"世界模型",表现竟不如通用模型。这跟不少人的直觉相反,专业化训练不该更擅长本职工作吗?可这恰恰说明,预测一个系统的下一个状态,考的是模型底层的推理能力和长程记忆能力,不是靠"针对性微调"能速成的技能。好比让一个练了十年珠算的人,去跟一个数学底子扎实却没专门练过算盘的人比心算,后者反倒因为底子更硬赢了。
GPT-6 Astra在长程审计题上的优势也耐人寻味。它没有疯狂堆算力硬算,反而用更少的token答对了更多题。这暗示真正的突破也许不在"想得更久",而在"记得更准"。这份"记得准"究竟怎么炼成,论文没给答案,大概要留给后续研究者。
那631道所有模型都没答对的题,如今还安安静静躺在GLOBEBENCH的数据集里。它们像一面镜子,照出的不是某个模型的具体缺陷,而是整条技术路线当下天花板的位置。
Q&A
Q1:GLOBEBENCH考的是什么能力?
A:它考的是语言模型作为"世界模型"的能力——给出一段完整操作历史和最后一个动作,看模型能否准确预测环境接下来的状态。测试覆盖代码、企业工具、游戏、数学科学、对话五大领域,共1632道题。
Q2:成绩最好的AI模型在这套测试里拿了多少分?
A:最好的是GPT-6 Astra,得分49.57%;排第二的Grok 4.6只有28.13%,两者相差21个百分点。两个专门训练的世界模型反而排在后面,分别是14.46%和5.21%。
Q3:模型为什么在某些题目上表现格外差?
A:当动作的影响波及没有被明确提到的关联对象时,平均成绩从27%左右骤降到5.1%;当需要参考的关键信息隔了40轮对话以上,成绩同样腰斩。模型普遍在需要长程状态追踪和