GPT-5.4仅65.8%：38个顶尖AI模型为何都推不出“下一秒”

不妨试想一下：把一张厨房照片交给AI，告诉它“有人正伸手去够炉子上的锅”，接着问它下一秒会看到什么。

答案好像不难，锅被端起来，或者手碰到锅柄。可顶尖模型GPT-5.4在这类问题上只拿到65.8%的准确率；随手找三个普通人做同样的测试，准确率却有92.3%。

这并非GPT-5.4一家之差。研究者测了38个当前最强的多模态大语言模型，Qwen3-VL、Llama-4、Gemini等各厂商旗舰产品都在其中，结论相当一致：没有哪个模型接近人类水平，而且模型变大，这个差距也不会自动缩小。

**多模态大语言模型**（MLLM）：指能同时读懂图像和文字的AI模型——给它一张照片加一段提问，它能理解图里的内容，再用文字作答。

这项由西北大学、卡内基梅隆大学、北卡罗来纳大学教堂山分校和亚马逊联合完成的研究，想弄清一件事：这些AI在空间推理、物理常识、具身控制、时间顺序判断上屡屡出错，究竟是四个彼此无关的毛病，还是同一个病根长出的四个症状。

一个被拆散了很久的问题

先看看现状有多零碎。

翻开AI空间推理的论文，会撞见MindCube、VLM4D、3DSRBench这些基准，考的是AI能否理解相机转动后画面如何变化。转到物理常识方向，论文里是IntPhys 2、PhysBench，考的是AI懂不懂物体不会凭空消失、支撑物被抽走上面的东西会掉下来这类常识。再看具身智能，OpenEQA、EmbodiedBench摆在那里，考的是AI能不能在虚拟房间里完成拿杯子之类的任务。时间推理那边则有TemporalBench、TOMATO，考的是AI能否把视频里几个画面的先后顺序排对。

这些测试各打各的仗，打分方式不同，干扰项设计也各挑各的。读完一堆论文，你能看到AI在这四个方向上都表现糟糕，却没人告诉你，这四种糟糕之间到底有没有关联。

研究团队给出的假设是：四类任务表面各异，底层问的其实是同一件事——给定场景的初始状态，再给一个动作，AI能不能推出动作之后状态会变成什么样。

写得更简洁些，就是一个三元组：（初始状态，动作，结果状态），论文中记作(s, a, s′)。

**(s, a, s′)**：用来描述一次场景变化的三元组，s是动作发生前的样子，a是发生了什么动作，s′是动作发生后的样子。预测结果状态、反推动作是什么、判断动作前后的顺序，这些看似不同的问题，说到底都是在这个三元组上朝不同方向推理。

空间推理问的是：相机做了a这个动作（比如向左转45度），画面由s变成s′，这个s′长什么样。物理常识问的是：球离开了支撑面（这就是a），接下来的s′是什么。具身智能问的是：要达成某个目标状态s′，该做什么动作a。时间推理问的是：给几张打乱的照片，谁在前谁在后——这其实是在推测它们背后那条隐藏的动作序列。

四个看似毫不相干的任务，拆开来看，都是同一个三元组的不同问法。好比去医院检查，耳鸣、头晕、视力模糊像是三个独立症状，可医生要是告诉你，这三者背后都是颈椎压迫同一条血管所致，你一下就明白了为什么治好颈椎，三个毛病会一起消失。研究者想验证的正是这种“同根同源”的猜想：假如真存在这样一种共通的“视觉转变推理”能力，那么针对它单独训练，能不能同时改善看起来毫不相关的多个下游任务？若不存在，单独训练一类任务就该只对这类任务有用，对其他任务无效，甚至带来负面效果。

怎么造一套能做对照实验的数据

只有假设还不够，得拿数据来验证。

研究者给自己立了条规矩：这套数据必须让“场景类型”“动作类型”“推理类型”三个维度各自独立变化。换句话说，同一个厨房场景，可以搭配不同动作（相机转动、有人拿起东西、球自己滚落）；同一种动作类型，可以用在不同场景（厨房里转相机、公园里转相机）；同一种推理类型，也能配不同的动作和场景。

这要求听着简单，做起来却是个大难题。真实视频里的动作是什么、下一秒会怎样，都是已经发生、无法回头的既定事实，你没法让同一个初始画面在“相机向左转”和“相机向右转”两种情况下各拍一遍，再对比各自会变成什么样。传统游戏引擎仿真环境倒是能做到这种可控性，可场景和物体种类有限，一眼看去就假，跟真实世界的视觉风格差得太远。

研究团队的解法是拿视频生成模型来造数据，选的是阿里的Wan2.2-I2V-A14B——一个专做“图像转视频”的生成模型。给它一张起始画面和一句动作描述，它就能生成接下来几秒钟的视频。

这个思路有点像小时候玩的“假如重来一次”。假设你站在岔路口，往左走和往右走的风景肯定不同，可现实里你只能选一条路，没法同时体验两种结果拿来对比。视频生成模型相当于给了研究者一台“平行宇宙模拟器”：同一个初始画面，喂“向左转”的指令生成一段视频，再喂“向右转”的指令生成另一段，两段视频起点完全一样，只是走的分支不同。有了这种可控的“假如”能力，才造得出大量真正能做对照实验的素材。

围绕这台模拟器，研究者搭起了一套三轴分类体系。

场景类型共20种，室内、室外各占一半——室内有厨房、卧室、教室等，室外有公园、十字路口、农场等。餐厅和沙滩被单独留出，不进训练数据，专门用来测AI能不能把学到的能力迁移到没见过的新场景。

动作类型分五种。一种是“外源性”，指非人为造成、物体自身发生的物理事件，比如球从桌子边缘滚落、杯子倒了水洒出来，背后对应8种常见物理原理（重力、支撑、惯性、碰撞、物体不会凌空消失等）。另外四种归为“内源性”，也就是有行动主体在做事：相机自己移动（perceptive）、相机绕某个物体转动来观察它（inspective）、在场景里走到某个目标点（navigative）、用手去操纵某个物体（manipulative）。

动作分为内源和外源两类。外源说的是物体自身起变化，并没有谁去主动摆弄它，苹果自己掉到地上就是一例；内源则指某个行动主体——人、机器人或者相机——主动做了点什么，伸手抓苹果属于这一类。

至于推理类型，对应八种具体提问方式，可以并成四大类。因果动力学类包含“正向推理”（给起点和动作，推结果）与“逆向推理”（给起点和结果，反推是哪个动作造成的）。反事实推理类有“移除反事实”（假如该动作压根没发生，场景会变成什么样）和“替换反事实”（假如换成别的动作，结果又如何）。物理建模类分“后果预测”（给一个自然物理事件，猜结果）和“有提示的预测”（先把背后的物理原理告诉AI，再让它猜结果）。时间连贯性类则包括“排序”（几张照片打乱，排出正确顺序）和“邻接判断”（看某张照片，判断紧挨它前后的是哪两张）。

三个维度两两组合，再加上八种刻意设计的干扰项——方向弄反的、违背物理常识的、顺序错位的等等——最后凑出36076道四选一的题，划成训练集、验证集，以及三种难度递增的测试集：标准测试；换成没见过的新场景的测试；对初始画面做微调（改个颜色、挪下位置）的“扰动”测试。后两种专门用来检验AI究竟是真看懂了场景本身，还是只记住了某种套路化答题模式。

顶尖AI到底差在哪

这套测试做好之后，研究者先拉来38个主流模型考了一遍。

成绩最好的GPT-5.4也只有65.8%，第二名Intern-S1-Pro为63.2%，人类平均分则是92.3%。更出人意料的是，这个落差并非某个模型的个别毛病，几乎横跨所有模型家族——闭源的GPT系列、开源的Qwen系列，以及其他厂商的产品，都表现出相似的失败模式。

其中几种失败模式，值得单独拎出来讲。

时间邻接判断远比时间排序难。在“给乱序照片排正确顺序”这类题上，GPT-5.4能拿57.1%；可一换成“判断某张照片紧挨着的前后两张是哪张”，准确率就跌到27.0%，跟瞎猜（25%）几乎没差别。也就是说，模型能看出大致的先后关系，但谁跟谁紧挨着这种精细的时间分辨能力，基本是空白。

反事实移除同样比反事实替换更难。“如果这个动作没发生会怎样”，模型答得明显不如“如果换个动作会怎样”。研究者推测，想象一个动作完全没发生，得在脑子里凭空“擦除”一段已经看到的变化，这比想象换一条不同的动作走向更抽象。

几何变化也比外观变化更难适应。把场景里某个物体的位置或朝向改一改（几何扰动），模型准确率会大跌；只换颜色或灯光（外观扰动），它基本不受影响。而且模型越做越大，这个差异还在拉大：外观鲁棒性每增加十倍参数能提升约40个百分点，几何鲁棒性只提升约11个百分点，差了接近4倍。

这组数据背后透出的信号让人略感不安：堆更多参数、用更大算力，解决的是“认出这是什么颜色、什么材质”这类偏表层的问题；可一旦涉及“这个东西空间关系变了会怎样”这种更底层的结构性理解，扩大规模的边际收益就非常有限。

训练能学会吗

病诊断出来了，下一步自然要问：能治吗？

研究团队挑了个小模型做实验——30亿参数的Qwen2.5-VL-3B，先用全部训练集（22728道题）对它做监督微调。

所谓监督微调（SFT），就是拿一批标注好正确答案的题去训练模型，让它调整内部参数去更好地匹配这些答案。想让模型学会某项特定技能，这是最直接的办法。

结果相当惊人。训练前，这个小模型在标准测试上的准确率是26.4%，基本等于瞎猜；训练后直接飙到89.3%。即便放到没见过的新场景（餐厅、沙滩）里测，也能拿到88.2%。

更关键的问题随之而来：训练出来的能力，是死记硬背题库套路，还是真学到了一种通用的“视觉转变推理”能力？

为回答这个问题，研究者设计了一组对照实验。他们把训练数据切成11份，每份只对应一种具体的（动作类型，推理家族）组合，比如只练“相机动作+因果推理”的那份叫perc_causal，大约2000道题。

这种控制子集（controlled subset），就是从完整训练集里切出来的小份数据，每份只含某一种动作类型和某一种推理家族的组合，大小约2000道题，专门用来做精细的对照实验。

结果，每一份子集单独训练后，不只在自己覆盖的动作类型上有提升，在没训练过的其他动作类型上也有提升。比方说，光用“相机动作+因果推理”训出来的模型，在“物体操纵”这个完全没练过的动作类型上，准确率也从28.82%涨到了64.67%。可见不同来源的监督数据，最终教的都是同一种底层能力，而不是各自教一套孤立的小技巧。

这就像教孩子理解“把杯子往左倒，水会往左流”。如果孩子真正理解的是重力和倾斜角度之间的关系，那他应该也能推断出往右倒水会往右流，哪怕你从没特意教过这个具体场景；可如果孩子只是记住了“往左倒水往左流”这句话本身，换个方向他就答不上来了。11份子集之间互相都能迁移，说明模型学到的更接近前者。

训练带来的提升，也不止停留在WOVEN自己的测试集里。研究者又拿训好的模型去跑了26个完全独立的外部基准测试，覆盖空间推理、具身智能、物理推理、时间推理等各个方向。

用全部训练数据训练后，26个外部测试里有12个出现明显提升（提升超过2个百分点才算），其中SAT这个空间推理测试涨了24个百分点。而用那11份更小的子集（每份才2000道题）分别训练，再挑出每个测试表现最好的那一份，覆盖范围一下扩大到22个——26个测试里，几乎所有涉及“状态变化”的任务都受益了，涨幅最高达到27.3个百分点。

有4个测试没拿到好处，它们考的是“静态感知”（比如一张图里有几个物体）和一般视频问答。换成哪种子集来训练，这四项的成绩都基本没动。研究者最初划的边界正好对上了：这套训练只对牵扯“状态转变”的任务管用，至于不用推演变化、只看当下画面里有什么的任务，帮不上什么忙。

因果链条还有更直接的一层验证。研究者把训练预算固定为2000道题，拿WOVEN数据一点点顶掉某个外部任务（比如SAT）原有的训练题，替换比例从0%一直推到100%。结果是：顶掉30%到50%的原始题、用WOVEN数据补上，最终准确率和完全不替换差不多；在SAT上，全部换成WOVEN数据反倒成绩最好。打个比方，学生备考原计划刷100道专项题，改成50道专项加50道“通用解题思路”训练，考分不降反升。这说明那部分“通用思路”确实接过了部分专项练习的活，而不是两样不相干的东西硬拼在一起。

训练数据该怎么挑才有效

这种能力存在、也能练出来，这一点被证实之后，团队继续往下走：既然不同训练数据带来的迁移效果不一样，那能不能找出一套规律，提前判断“这份数据对哪些下游任务有用”？

答案有点出人意料。真正左右迁移效果的，是数据教的是哪一种推理操作，而不是它展示了什么动作、发生在什么场景、属于哪个应用领域。

研究者把11份子集两两对比“迁移指纹”，也就是各自在26个外部测试上的提升幅度拼成的向量。按“推理家族”（因果/反事实/物理/时间）分组，同组子集的迁移指纹相关性平均为+0.32；改按“动作类型”（相机/物体操纵/导航等）分组，同组相关性却是-0.22，跟完全不相干的组别没什么两样。

这个结论跟直觉拧着来。你大概会想，教模型“相机转动”的题，应该对一切跟相机动作有关的下游任务都有用。可实际情况是，两份数据都用相机动作，只要教的推理操作不同（一个教“正向推理”，一个教“排序”），它们带来的下游收益模式就完全不像。反过来，两份数据动作完全不同（一个相机转动，一个用手操纵物体），只要都在教“因果推理”，下游收益模式却很接近。

好比去健身房练肌肉。你可能觉得专练“举杠铃”的计划，对一切要用手臂力量的运动都有帮助，打网球也好、搬家也好。但真正决定迁移效果的，往往不是你手上拿的什么器械，而是你练的是哪一类发力模式——爆发力还是耐力。器械相同、训练模式不同的两份计划，效果可能差得很远；器械不同、发力模式相同的两份计划，效果反倒相近。

顺着这个发现，团队整理出一套训练配方，一共四条。

头一条，挑数据看它教什么推理操作，别管它展示的动作、场景或领域。想提升某个下游任务，先弄清这个任务本质上考的是哪种推理操作（因果？反事实？排序？），再去找教同一种操作的数据，动作和场景对不上也没关系。

第二条，想让模型更鲁棒，优先选场景变化幅度大的训练数据。研究者比了同属因果推理家族的几份子集：用“物体操纵”训练，鲁棒性提升+23.2个百分点，远超用“相机动作”训练的+1.7个百分点；用外源性物理事件训练，提升最大，达到+29.9，这几类动作的场景变化幅度都更大。

第三条，时间推理和“有行动主体参与”的推理得单独练，别指望从别处迁移过来。时间排序和时间邻接这两种推理类型之间几乎不迁移，学会了排序不等于会判断邻接。用外源性物理事件（没有行动主体参与）训练出来的模型，放到需要理解“某个主体做了什么动作”的下游任务上，反而出现负迁移。比如纯外源性物理事件训练出的模型，在ActionEQA（考理解行动主体动作）上准确率掉了1.7个百分点，在WorldPrediction上更是掉了10.2个百分点。

第四条，压根不涉及“状态转变”的任务，比如纯静态感知，这套训练使不上劲，得靠专门的监督数据。

为了证明这套配方不是事后凑出来的规律，团队又做了一次“预先下注”式实验。他们先按配方设计好一套训练数据组合，再拿到几个完全没参与配方推导的新外部测试集上验证，包括MMSI-Bench、VLM4D、PhysBench、SPAR-Bench、MVBench、IntPhys 2、CameraBench。

五项对照实验的结果全部对上了配方的预判。考理解行动主体动作的题目上，按配方设计的组合比“按动作类型匹配”的组合高4.7个百分点，比“选错推理操作”的组合高3.5个百分点；考相机运动理解的题目上，哪怕对照组用了更多“看起来更匹配”的相机动作数据，按配方设计的组合还是略胜一筹；考被动物理事件理解的题目上，这回轮到“侧重外源性物理事件”的组合反超，方向恰好跟配方第三条说的一致。

写在后面

读完论文，最让我意外的不是“AI空间推理很差”这个结论，这事大家多少有心理准备。真正愣住的是那组迁移指纹的相关性数据：同一动作类型的子集之间是-0.22，同一推理家族的子集之间是+0.32。研究者没停在“模型表现不好”这层描述上，而是用一套可量化的实验，把“决定AI能力迁移方向的到底是什么”这个一直靠直觉和猜测的问题，变成了有数据支撑的答案。

有个细节值得单独拎出来说。7小时左右生成的视频素材，就让一个30亿参数的小模型在空间推理测试上超过了另一个用125000小时真实视频预训练的模型。7小时对125000小时，差着四个数量级，效果反倒更好。这背后透出的信号是：监督数据的“结构”可能比“数量”更重要。少量数据只要精心设计、能把(状态,动作,结果)这个三元组的各种组合都覆盖到，可能比海量却没有针对性的数据更管用。深度学习圈子里常年挂在嘴边的“数据越多越好”，跟这个结果有点对不上。

论文也留了一个没有彻底回答的问题。研究证明了“视觉转变推理”这个能力存在、可以训练、能迁移，但没有深入解释：时间排序和时间邻接明明都属于“时间推理”，彼此之间为什么几乎学不会对方？是这两种任务动用了完全不同的神经网络内部表示，还是仅仅因为训练数据设计得不够巧，没能把两者的共性暴露出来？这个问题留给了后续研究者。

Q&A

Q1：WOVEN 是做什么用的？它是一套训练数据加测试基准，专门拿来考察 AI 在视觉上的转变推理能力。这套东西里有 36076 道题，场景 20 种、动作类型 5 种、推理类型 8 种；视频生成模型会造出大量可控的“假如”场景，供对照实验使用。

Q2：为什么顶尖AI模型在视觉转变推理上表现这么差？38个主流模型的测试显示，最强的GPT-5.4也只有65.8%准确率，人类平均是92.3%。差距跨越几乎所有模型家族，而且不会随模型变大自动消失，说明这是结构性的能力缺陷，不是单个模型的偶然问题。

Q3：一份训练数据到底对哪些下游任务有帮助，该怎么看？研究给出的答案是：迁移效果好坏，主要取决于数据所教的推理操作属于哪一类，跟它涉及的具体动作、场景关系不大。只要教的是同一种推理操作（例如因果推理），哪怕动作完全不一样，迁移效果也会更接近。