20个大模型测世界模型:最强GPT-6 Astra仅49.57%,631题全军覆没

资讯 腾讯网 作者:科技行者 全文 4680 字 · 约 12 分钟读完 分类世界模型大模型

2026年秋天,有一件事挺值得说道说道。一群研究者给20个当下最强的语言模型出了一套题,题目不难理解:给你一段完整的操作记录,告诉你用户刚刚做了什么动作,你来预测这个虚拟世界接下来会变成什么样。听起来像是模型应该擅长的事情,毕竟它们见过海量的代码、数据库操作、游戏逻辑。结果呢?表现最好的模型,也只答对了不到一半的...

所属频道 模型发布

2026年秋天,有件挺值得说道说道的事。

一群研究者给20个当下最强的语言模型出了套题。题目本身不难理解:给一段完整的操作记录,告诉你用户刚做了什么动作,让你预测这个虚拟世界接下来会变成什么样。按理说这该是模型擅长的活儿——它们见过海量代码、数据库操作和游戏逻辑。

结果呢?

可表现最好的模型也只答对不到一半。更有631道题,20个模型全军覆没,一个都没蒙对。

论文名叫GLOBEBENCH,出自Patronus AI团队,是一套评测基准。它测的不是模型会不会聊天、会不会写代码,而是更底层、也更容易被忽视的一项能力:模型能不能当一个靠谱的“世界模型”。

这事为什么重要,得从一个正在发生的趋势讲起。

这个

眼下训练AI智能体,有个很火的路子:用另一个语言模型来模拟环境。

麻烦在于,真实环境太贵也太慢。

打个比方,你要训练AI去操作企业数据库系统,每次试错都得真连一个数据库、真执行一条SQL、真等结果返回。想让它试错十万次、百万次,成本谁都扛不住,服务器撑不住,时间也等不起。

于是有人出了个主意:干脆用另一个语言模型来充当这个环境。智能体做一个动作,这个“模型环境”就回一段反馈。

思路本身没毛病,但有个致命前提:万一这个“模型环境”自己就不准呢?

答案就是,AI智能体会学出一套专门钻“假环境漏洞”的行为模式,而非真实世界的规律。

这就像你想培养一个厨师,却不让进真厨房,只给他看一套“模拟厨房”的说明书。说明书写错了,比如写着“油锅起火了往里倒水就能灭火”,厨师照着练上一百遍,练得滚瓜烂熟。等他真进了厨房,头一回碰上油锅起火,他会很自信地往里倒水,然后酿成大祸。模拟环境教得越“熟练”,错误被巩固得越深,这比完全不练更危险。这也是为什么非得专门去检验这些“世界模型”不可。

GLOBEBENCH要解决的正是这个问题:在没人系统性检查之前,谁也不知道这些AI世界模型到底哪里会出错,错得有多离谱。

题目是怎么出的

研究团队一共设计了1632道测试题,横跨五个领域:代码操作、企业软件、游戏、数学科学、多轮对话。

每道题的结构都很简单。给模型看一段完整的操作历史,里面包含很多轮之前的动作和环境反馈,最后给出一个新动作,让模型预测这个动作执行后世界会变成什么样。

巧妙的关键在于,这个“正确答案”不是人写的,而是真在一个固定的后端系统里跑出来的。

执行后端

为什么非要这么做?因为答案要是人写的,人也可能写错,标准还不统一。让真实系统去跑,答案永远客观、可复现,就跟物理实验一样,环境参数固定,结果就是唯一的。

题目还被划成19种“技能”,比如你得记得十几轮之前写入的一个数值(这叫“……”)。

研究团队还给每道题标了两个关键难度指标。

一个叫"

影响半径

这个

表现最好的模型,也只对了一半

正式测试跑了20个模型,包括18个通用大语言模型(GPT-6系列、Claude系列、Gemini、Grok、Qwen等),外加两个专门训练来做世界模拟的模型。

结果GPT-6 Astra拿了第一,成绩49.57%。

这算个什么概念?一枚硬币扔十次,正面朝上的概率大概50%。这类比当然不完全准确,毕竟题目不是二选一,但这个数字确实说明,即便是业界最强的模型,在这件事上也就刚刚过及格线。

更扎心的还在后头:Grok 4.6 排第二,成绩 28.13%;Claude Opus 5.5 以 26.35% 位列第三;Qwen 3.8 Max 拿到 25.31%,居第四。头名和第二名之间整整差了 21 个百分点。这个差距有多大?换成题目数量算,GPT-6 Astra 比第二名多答对了 350 道题。

反观那两个专门为这项任务训练出来的"世界模型",表现不升反降。

模型在哪些情况下输得最惨

这恰恰是整篇论文最该细看的地方。研究者注意到,模型的表现并非一路均匀往下滑,而是在某些特定条件下出现断崖式崩溃。

先看影响半径这个维度。动作完全不改变任何状态时(L0),20 个模型平均能答对 43.49%。动作只波及被点名的一两个对象时(L1 和 L2),成绩差不多,都在 27% 上下。可一旦进入 L3,也就是动作效果蔓延到没被点名的关联对象,平均成绩直接跳水到 5.10%。

27% 掉到 5%,等于砍掉了五分之四的准确率。

这说明了什么?"你让我改 A,我就改 A"这类直接任务,模型基本能应付;但只要牵扯到"你让我改 A,而 A 还连着 B、C、D,这些也得跟着变",模型就几乎集体抓瞎。

打个比方:你让一个新员工去改办公室里某份合同的价格条款,他能把价格改得准确无误。可如果这份合同背后还牵着十几份关联协议,价格一动,税费计算、违约金基准、分期还款表都得连锁更新,多数新员工根本意识不到这层关联,只盯着你直接交代的那句话,改完合同上的数字就交差,后面一串隐藏的连锁反应全漏掉了。训练 AI 智能体时若完全依赖这种世界模型,智能体学到的会是一种"头痛医头、脚疼也不管"的浅层应对方式,放到真实复杂系统里,各种隐藏 bug 就会层出不穷。

再看

关键信息落在最近 40 轮对话以内时,20 个模型平均能答对 42.3%;一旦这个信息藏到 40 轮以外,平均成绩跌到 11.4%,几乎是腰斩之后再腰斩。

研究者还做了个细分实验,把"长对话里藏着缓慢变化的关键状态、输出结果又很长"的那类题目单独挑出来看。这类题目要求模型记住几十上百轮之前设定的某个参数,中途这个参数可能被反复改动几十次,系统从不会把当前值直接打印出来,模型得自己在脑子里一直追踪它的变化。

这类题目上,平均成绩只有 5.1%。差不多等于一百道题,20 个模型加起来平均只蒙对 5 道。

GPT-6 Astra 在这类题上的表现值得琢磨。Grok 4.6 并不是推理能力差——它拿到一个数字(哪怕是错的),后续计算几乎都对。它输在最初那一步:没能在几百轮对话里把这个隐藏变量稳稳追踪住。这就像一个会计师,每一步算账逻辑都严丝合缝,可账本翻到第一页时抄错了一个初始余额,后面算得再精确,结果也全盘皆错。

研究者还发现一个很能说明问题的现象:这类需要长程状态追踪的题目上,GPT-6 Astra 的输出 token 数量中位数只有 8300,Grok 4.6 则要 39900,将近五倍。这说明 Astra 可能不是靠"多想多算"硬扛过去的,而是确实在某种程度上更稳地记住了状态;不少同类模型要么算错,要么干脆放弃,直接回一句"我没法可靠地算出这个值"。

开源与闭源模型,出错方式并不相同

另一个有意思的发现是,开源模型和闭源模型犯错的"风格"有差别。开源模型更容易给出数值错误、但整体结构正确的答案,这类情况占它们全部失败案例的 58.22%。闭源模型则更容易漏掉或多出不该有的字段,这种结构性错误占到 31.54%。

研究者把这一差距归因到闭源阵营里的几个 Claude 系列模型身上。Claude 的几个版本有一个特别高的……

成功率最高的领域是游戏类(27.8%)和企业软件类(25.5%),最低的是数学科学类(11.7%)和多轮对话类(11.8%)。研究者指出,这一差异很大程度上跟各领域里"需要……"有关。

人类如何看这些测试结果

光靠机器打分还不够。研究团队专门请了 6 位有计算机科学背景、懂工具调用、会写 SQL 和 Shell 命令的专业标注员,人工审核了 200 道题的"标准答案"质量。

结果让研究者松了一口气:就"状态一致性"这一项,标注员给出的意见100%一致,全部打了满分。换句话说,靠真实系统执行跑出来的答案,确实经得起专业人员审视。分歧相对多一些的是"接口真实感"这一维,也就是返回格式够不够像真实系统,约80.8%的标注员评分相同;这部分分歧大多源于对探测用途的特殊工具格式理解不一。

研究者又用另一个语言模型GPT-5.6 Terra,对余下1627道题做了同样的打分。有意思的是,它在"状态一致性"上比人类标注员还苛刻,有9道题人类全给满分,它却打了低分。追查下去发现,这个AI判官有一半情况是自己把历史记录里的求和、计数重算了一遍,得出了和标准答案不一样的数字;人工复查后确认,错的是AI判官,标准答案没问题。这成了整篇论文里一个颇有意味的插曲:负责挑错的AI,自己也会犯"长历史记不住、数字算错"的毛病。

在这篇论文之前,相关做法是什么样

在GLOBEBENCH出现之前,已有若干工作在尝试评估语言模型当

一篇叫

GLOBEBENCH与前作最大的差别在颗粒度。过去的评测给一整条预测的观察结果打一个综合分;GLOBEBENCH则把每道题都设计成只考一种特定技能,题目还要过12道自动筛选关卡,确保无法靠投机取巧绕开真正要考的能力。于是模型失败时,研究者能看清是哪项能力掉了链子,而不是只拿到一句笼统的"表现不好"。

接下来会往哪些方向走

论文发布后,已经能看到一些延伸思路。论文本身提到的

另一个受关注的方向,是Deshpande在2026年的工作,尝试用

写在后面

读完这篇论文,让我意外的不是模型表现差,而是差得如此有规律。

它并非在各种题目上随机抽风,而是精准地在两类任务上集体崩盘:一类要跨越长距离回忆隐藏状态,一类要让改动波及未被点名的关联对象。这种规律性反倒让人有些后怕——眼下若拿一个通用大模型去当训练智能体的世界模拟器,它很可能在你最需要它靠谱的复杂场景里,悄无声息地、系统性地撒谎。

还有个细节我琢磨了很久:专门训练的"世界模型",表现竟不如通用模型。这跟不少人的直觉相反,专业化训练不该更擅长本职工作吗?可这恰恰说明,预测一个系统的下一个状态,考的是模型底层的推理能力和长程记忆能力,不是靠"针对性微调"能速成的技能。好比让一个练了十年珠算的人,去跟一个数学底子扎实却没专门练过算盘的人比心算,后者反倒因为底子更硬赢了。

GPT-6 Astra在长程审计题上的优势也耐人寻味。它没有疯狂堆算力硬算,反而用更少的token答对了更多题。这暗示真正的突破也许不在"想得更久",而在"记得更准"。这份"记得准"究竟怎么炼成,论文没给答案,大概要留给后续研究者。

那631道所有模型都没答对的题,如今还安安静静躺在GLOBEBENCH的数据集里。它们像一面镜子,照出的不是某个模型的具体缺陷,而是整条技术路线当下天花板的位置。

Q&A

Q1:GLOBEBENCH考的是什么能力?

A:它考的是语言模型作为"世界模型"的能力——给出一段完整操作历史和最后一个动作,看模型能否准确预测环境接下来的状态。测试覆盖代码、企业工具、游戏、数学科学、对话五大领域,共1632道题。

Q2:成绩最好的AI模型在这套测试里拿了多少分?

A:最好的是GPT-6 Astra,得分49.57%;排第二的Grok 4.6只有28.13%,两者相差21个百分点。两个专门训练的世界模型反而排在后面,分别是14.46%和5.21%。

Q3:模型为什么在某些题目上表现格外差?

A:当动作的影响波及没有被明确提到的关联对象时,平均成绩从27%左右骤降到5.1%;当需要参考的关键信息隔了40轮对话以上,成绩同样腰斩。模型普遍在需要长程状态追踪和

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 没收过钱的DeepSeek,限个流就成罪人了?

    要说哪家大模型公司在科技圈和开发者中口碑最好,DeepSeek 认第二,估计没几家敢认第一。 哥们平时也不买量投流,纯靠模型攒口碑。 但我真没想到,就这么一家浓眉大眼的公司,最近....

    来源 腾讯网
  2. Anthropic上市首日市值破2万亿:25位华人员工分享造富盛宴

    点击 Tech星球 > 点击右上角“···” > 设为星标 Tech星球(微信ID:tech618)文 | 华卫封面来源 | 图虫创意AI界的造富故事,正在从创始人为主的一端向内部员工扩散。Anthropic的上市,恰好将这种变化推到了聚光灯下。11月19日,Claude大模型背后的Anthropic正式登陆纳斯达克。

    来源 腾讯网
  3. Xiaomi-Lens-0:让AI盯着图里的细节,小米换了种训练方式

    你有没有过这样的经历,拿一张照片问AI:"图里穿蓝衬衫的女士旁边的食物在哪?"它给你一个看似合理的答案,但你仔细一看,它其实把旁边那堆水果认成了"食物",位置还说反了。这不是个例。市面上大部分多模态大语言模型(能同时理解图片和文字的AI)回答整体性问题很在行,比如"这张图是什么场景",但一旦涉及到"数一数有几个...

    来源 腾讯网
  4. 英伟达仿真研究:机器人操作成功率74.8%,单次推理仍需18.56秒

    界面新闻记者 | 徐美慧界面新闻编辑 | 文姝琪 随着模型能力提升,机器人开始自主探索新技能,但距离真正稳定上岗还有不小的差距。今年10月,英伟达公布的一项仿真研究显示,GPT-6 Astra在引入智能体框架后,机器人操作任务成功率达到74.8%,而在直接调用模型的测试中,平均每次推理需要18.56秒。通用大模型展现出

    来源 腾讯网
  5. 港大团队实测43个视频世界模型:动作没做完,谈何记忆

    你有没有玩过那种桌游,魔术师当着你的面把一个球放进三个杯子中的一个,然后快速挪动杯子,最后问你球在哪儿。如果魔术师根本没把球放进任何一个杯子,你猜错了,这能叫"记性不好"吗?这篇论文讲的就是这么一件让人哭笑不得的事。现在有一类叫做视频世界模型的AI系统,视频世界模型:一种能够根据文字描述或图片生成连续视...

    来源 腾讯网
  6. GPT-6.2 Astra解出Smoktunowicz定理:94分钟写出全球首个形式化证明

    Vals AI最新高难数学基准测试中,GPT-6.2 Astra以87.50%的准确率登顶。面对Lean公共数学库缺失的三个关键定理,Astra自主定义“容量”这一新数学工具,绕开原论文证明路线,仅用94分钟、1794行Lean代码,完成Smoktunowicz间隙定理的全球首个形式化证明。

    来源 华尔街见闻
  7. 华中科技大学联手阿里巴巴建AI安全研究中心,首批9个课题启动

    IT之家 11 月 21 日消息,华中科技大学与阿里巴巴集团于 11 月 18 日签署合作协议,聚焦 AI 安全共建“智能攻防与前沿安全联合研究中心”,首批启动 9 个课题。 IT之家获悉,联合研究中心首批启动的 9 个课题,覆盖大模型安全攻防、智能体与终端安全、智能化系统与软件安全、数据协同与隐私保护四大方向,以下为

    来源 AI 行业观察
  8. 200万个追踪标记潜入AI供应链,数据托管私密性被证伪

    一项巧妙的隐私实验揭开了AI供应链的隐秘角落。研究人员将约200万个带有唯一标记的“金丝雀”秘密植入提示词与数据流中,结果这些本应保持私密的追踪信息出现在大模型生态的多个环节。实验证明,用户数据在AI供应链中并不会真正保持私密,泄露的范围与深度远超想象。

    来源 AI 科技快讯
  9. 姚顺雨回应混元为何不追5万亿参数:Hy4仍待改进,计划训更大模型

    IT之家 11 月 21 日消息,11 月 21 日凌晨,腾讯首席 AI 科学家、混元大模型负责人姚顺雨和团队成员,在 Reddit 进行了一场持续 120 分钟的 AMA,回答全球开发者关于混元的“任何问题”。 问答环节,有人询问:字节跳动、Kimi 等似乎都在往 3 万亿、甚至 5 万亿参数的超大模型推进,而你们还

    来源 AI 行业观察
  10. 姚顺雨回清华姚班:大模型不拼指标赛马,RSI如何落到工程?

    11 月 18 日晚,腾讯首席 AI 科学家、混元大模型负责人姚顺雨回到母校清华大学交叉信息研究院(姚班),与本科同窗、清华交叉信息院助理教授吕凯风做了一场近距离的闭门问答交流。 作为姚班 2015 级校友与普林斯顿博士,姚顺雨曾参与提出将推理与行动结合的 ReAct 范式,是代码 Agent 评测基准 SWE-ben

    来源 AI 行业观察
  11. 王兴兴:机器人泛化能力一两年内或突破,进家庭还差工程问题

    中国青年报客户端北京11月20日电(中青报·中青网记者 贾骥业)在今天举行的“第三届中国大模型大会”上,宇树科技创始人、董事长王兴兴在谈到机器人产业发展态势时说:“当前,对于全球机器人产业的发展,泛化能力是最大的问题。但未来很快就会突破,快的话明年都有可能。”王兴兴认为,机器人从“试点能干”走向“大规模...

    来源 腾讯网
  12. 贝佐斯重返一线:Prometheus估值410亿美元,要做物理世界的OpenAI

    作者|宇航猿编辑|靖宇AI 吞掉了软件,现在,它要吞掉工业了。卸任亚马逊 CEO 五年后,杰夫·贝佐斯没忍住,又给自己找了个班上。当地时间 2026 年 11 月 17 日,加州门洛帕克的 Semafor「硅谷与世界」峰会现场,贝佐斯和物理学家维克·巴贾杰(Vik Bajaj)罕见同台。他现在的最新头衔,是 AI 初创

    来源 腾讯网
  13. GLM-5.3推理缓存实测:p99延迟从3.96秒涨到17.3秒

    你肯定听过这句话:计算机世界里,读缓存永远比重新算一遍快。这几乎是所有工程师的本能直觉,就像你不会把算过的数学题再算一遍,而是直接抄答案。但有一组工程师发现,这个直觉在他们的系统里彻底失灵了。他们在给一个叫GLM-5.3的大模型做推理服务,这是一个超大规模的混合专家模型MoE:混合专家模型,一种让模型的不同部...

    来源 腾讯网
  14. 200万金丝雀潜入AI供应链:数据托管不等于隐私安全

    一项巧妙的隐私实验揭开了AI供应链的隐秘角落。研究人员将约200万个带有唯一标记的“金丝雀”秘密植入提示词与数据流中,结果这些本应保持私密的追踪信息出现在大模型生态的多个环节。实验证明,用户数据在AI供应链中并不会真正保持私密,泄露的范围与深度远超想象。

    来源 AI 行业观察
向下滚动自动加载更多