世界建模能否跨任务复用？Northwestern、CMU等用2k样本提升22项基准
以多模态大模型为基座模型的系统，正在被要求跨领域、跨任务干活：看懂空间关系，规划具身动作，理解视频里的时序，判断一个物体会不会掉下来，等等。这些任务分属不同领域，研究也各管一摊，各有基准，各提方法，而一个领域里奏效的方法很少能搬到另一个领域去。然而，这些任务都涉及到世界会怎样随动作变化，也就是人人都在谈的 “世界建模”
多模态大模型正被推着跨领域、跨任务干活：空间关系要看懂，具身动作要规划，视频时序要理解，物体会不会掉下来也要判断。这些任务分属不同领域，研究各管一摊，各有基准，各提方法，可一个领域里奏效的办法，很少能搬到另一个领域去。
不过，这些任务都牵扯同一件事——世界会随动作怎样变化，也就是人人都在谈的“世界建模”。各下游领域记录下的失败，会不会都源于这一个能力的缺失？鲜有工作对这一点做深入研究。
世界建模到底指什么？它是不是一个可以独立测量的能力，而非空间、物理、具身、时序各自表现的叠加？如果能测，现在的模型有没有，学不学得会？学到的东西帮不帮下游任务？再往深里说，它的角色到底是不是多样下游任务的底层能力，而不是各 domain 表象的叠加？如果帮，该怎样训练它，才能对被需求的下游任务最有用？
来自 Northwestern、CMU、UNC Chapel Hill 和 Amazon 的团队，在论文《WOVEN: Weaving Visual World Modeling into Multimodal LLMs》里把这几个问题逐个深入探究：先把这个能力独立定义出来，再独立测量它、教会它，最后检验学到的东西能不能跨任务复用，以及什么样的训练数据才能让它复用。
论文：https://arxiv.org/abs/2610.12417
项目主页：https://woven-ai.github.io
代码：https://github.com/mll-lab-nu/WOVEN
数据：https://huggingface.co/datasets/MLL-Lab/WOVEN
一、人人都说世界建模，它到底指什么
「世界模型」这个说法覆盖面很广，各家研究的界定并不一致。团队只取其中最窄的一层——状态转移：当前状态记作 s，执行动作 a，得到后续状态 s′，世界模型要估的就是 p (s′ | s, a)。按这个界定，本文所说的世界建模就成了能精确操控、也能精确度量的事情：在一次转移 (s, a, s′) 里给出部分元素，去推出剩下没给出的那部分。
空间、具身、物理、时序等各类任务，放到这个框架下都成了对同一组三元组的不同问法。已知 s 和 a 去求 s′，问的是动作会带来什么结果；已知 s 和 s′ 去求 a，问的是刚才发生了什么；把 a 换掉再问结果，属于反事实；给一串中间状态排出先后，则是时序。认知科学早有相近的说法：大脑中的正向模型与逆向模型，婴儿分阶段掌握重力、支撑、固体性这些核心物理知识，讲的都是「动作如何改变世界」。
团队没有走事后解释的路子，而是选了更严格的实验次序：先把能力定义和测量立起来，且不依赖任何下游任务，这样「模型是否缺这项能力」「有没有学会」「能否被不同形式的监督一起拉高」「下游任务的变化是否由它引起」，才能逐条分开回答，每一步都拿得出各自的证据。
二、把世界建模做成可控的实验对象
要细致地回答状态转移里每个元素各起什么作用，就得能对其中任意元素单独下手干预。真实视频满足不了：同一场景换个动作会怎样，没人拍过；同一动作下对场景做受控扰动，也没人做过。团队的办法是拿视频生成模型当转移引擎——给一帧初始画面加一条动作描述，让它生成后面发生的事；从同一帧出发换几个动作，就得到一组带真实对照的反事实轨迹。场景、动作、要求模型执行的推理操作，于是都成了能各自调节的实验变量（比如 20 类场景、5 类动作、8 种推理操作可以独立取值）。另外，每道题的每个错误选项都标了错误类型（像「左右反转」「违背重力」，或「物体朝向被扰动」），分析能细到「错在何处」。这套东西就是 WOVEN，共 36K 道题，构成训练和测评的基座，也给后续分析铺好了基础设施。
从同一个初始画面出发，执行四个不同的动作，得到四个不同的结果（反事实轨迹）
三、现在的模型缺的到底是什么
团队评测了 38 个前沿模型。最强的是 GPT-5.4，答对 65.8%；人类为 92.3%。分数之外更值得看的是差距的走向——所有模型家族都一个样。拿「时序相邻判断」来说，这一项最弱，卡在 25%–28%，离四选一的随机水平不远；同一批模型做时序排序，却能到 63%。把物体换个颜色（外观扰动），模型几乎不受影响；换成换位置或换朝向（几何扰动），成绩就跌到 30%。
单靠规模解决不了这件事。在 Qwen2.5-VL 从 3B 到 72B 的梯子上，外观鲁棒性每十倍参数涨 31 个点，几何鲁棒性却只涨 9 个点；同一个 7B 模型，外观扰动下 50.5%，几何扰动下 23.5%，等于没学。现成的视频先验也不够：对 V-JEPA 2 和一个视频生成模型做最优读出，最高 47.7%。
团队还挖出了一些别的结论。比如模型随规模掌握各条物理原则的先后，跟婴儿的习得次序对得上：最先过线的是重力和惯性，接着是内聚、恒存和容纳，再到支撑和固体性，最后是碰撞——这个次序在各模型家族间一致；38 个模型在碰撞上平均 31.4%，一直没过线。开源模型答错旋转题时，一半以上选的是镜像方向：知道在转，却分不清左右。
共享的失败分布模式预示着这是一个训练问题，而不是哪家模型的癖性。
四、这个能力学得会吗，学得高效吗，能帮助下游任务吗
世界建模能力本身可以被独立学会。团队在 WOVEN 上后训练（SFT + RL）了多个大小和家族的不同模型，其中 Qwen2.5-VL-3B，域内准确率从 26.4% 到 89.3%，且没见过的场景上 88.2%，离人类的 92.3% 不远；7B、32B 和 Gemma 3 上一样成立。学习的效率也很高：同一个 Qwen3.5-4B 底座，用约 7 小时生成视频做后训练，在 3DSRBench 上的增益（+6.7）超过了用 12.5 万小时真实视频做 mid-training 的 Orca-4B（+4.0）。
训练出来的能力还能迁移到大量下游任务上。用全集训练，12 个独立的外部测评基准出现提升，覆盖物理理解、时序理解、具身操作、空间推理等领域；若按能锻炼同一种世界建模能力的各个受控子集分别看迁移效果、再取并集，被抬高的外部独立测评基准数量最高达到 22 个，而每个受控子集只有 2000 条数据。这些 zero-shot 正向迁移最高能到 27.3 个点。
五、世界建模是底层能力，还是任务效应的堆叠
22 个基准都涨了，会不会只是 WOVEN 的不同部分各自帮了内容相近的任务，凑在一起显得覆盖面很广？要让“共同底层能力”站得住，得同时满足两条。
第一条，不同形式的监督源得能练出同一个能力。团队对训练结果做了细致分析。11 个受控子集里，每一个都提升了它从未训练过的动作类型（比如只用相机运动的数据训练，物体操作题 +39.8，导航题 +26.9）。训练之后，同一次转移的正向题和逆向题开始“同对同错”，逆向题能从模型自己预测的结果反推出动作的比例，从 19% 升到 45%–94%。换句话说，模型学到的是一个统一的“状态–动作–结果”映射，而不是两套各管各的技巧。
第二条，下游收益得确实来自这个能力，而不是各形式监督源训练效应叠加出来的。11 个子集在 26 个基准上的迁移曲线两两全部正相关；一个子集把世界建模能力提得越多，它在外部基准上的平均增益就越大，r = 0.86。4 个静态感知和通用视频 QA 基准在任何训练下都不涨，所以不是“模型整体变强”。团队还做了更硬的一组对照：构造一个“虚拟世界”，里面动作和结果的对应关系遵循固定但错误的关系（例如往左转总是导致看到在右侧的物体），其他所有条件保持不变（例如图文模态和问题格式），再跑同样的训练。结果，模型在这个“虚拟”测试集上把这套错误规则学得很好（85%–92%），下游基准在同等训练条件下却一个都不涨。这说明，下游拿到的涨分依赖模型学到正确的转移规律。
最后，团队做了更直接的因果干预。固定训练预算，把下游任务自己训练数据中相当大的比例（30%–50%）换成 WOVEN 的数据，训练后在对应下游测评，准确率可以保持相当，并且高于单纯删掉这部分数据的对照（因此并非域内数据量饱和）。转移监督顶替了下游任务原本要从自己数据里学的那部分。
用 WOVEN 替换下游任务自身训练数据的一部分（蓝线），对比直接删掉这部分数据（橙线），三个下游任务分别为 SAT、ActionEQA、CLEVRER，横跨三个不同 domain
六、怎样训练它才对下游普遍有用：学什么比看什么重要
团队接着追问一个更有用的问题：世界建模既然可以直接训练、又能帮到多种下游任务，那想提升某个特定下游任务，事先该挑什么样的转移监督来训练世界建模这个底层能力，才能拿到最大增益？
凭直觉，大家会选“长得像”的那类：场景相似、动作相似、领域也相似。可实验给出的结论并非如此。把共同迁移成分剔除之后，教同一种推理操作的子集，其下游收益相关性为 +0.32，明显高于仅共享动作类型的子集之间的 −0.22；而后者与完全不共享的子集（−0.23）相比，几乎没有差别。
也就是说，转移里“做了什么动作”不决定这份数据会帮到谁，“要对转移元组做什么推理”才决定。
除此之外，团队还总结了其他结论：要鲁棒性，优先选视觉状态变化更大的监督；时序任务和主体驱动的任务要直接监督；主动动作（agent driven）和被动动作（physics driven）之间没有明显迁移；状态转移之外的能力，比如静态感知，没法作为下游任务从状态转移的监督中获益，需要另给监督。
团队把这些内容合起来称为“训练配方”。配方是从已有结果中总结出来的，他们于是又补了一次前瞻性验证：先按配方把训练数据配好，再放到推导配方时压根没用过的 7 个基准上测——MMSI-Bench、VLM4D、PhysBench、SPAR-Bench、MVBench、IntPhys 2、CameraBench，随机种子最多用到 8 个。五组比较的结果，方向全与配方预测吻合：在主体动作类问题上，按配方配出的混合明显优于其他配法（p ≤ 0.03）；到了被动物理类问题，情况正像配方所料，以被动物理为主的混合效果反而更好。一套规律能否预测尚未见过的结果，比它能否解释已有结果更为关键。
11 个子集迁移曲线的两两相关性。左图：原始相关清一色为正；中图：扣除共同成分后按动作类型分组，看不出什么结构；右图：改按推理类型分组，结构就显示出来了
七、这套做法能带走什么
把这篇论文的流程抽出来，大致是这样：为了探索世界建模是不是一个独立于下游任务的能力，先把它的变量拆开，让每个元素可以各自变化，以提供干预实验基础设施；然后用跨域测试、错误规则对照和因果干预把表面相关性排掉；用严谨的因果干预和统计分析隔离“底层能力”和“效果堆叠”；对提出的训练配方，用没见过的任务做前瞻验证。每一步有自己的证据，结论不靠一个分数撑。
对训练系统而言，这说明世界建模可以围绕推理操作来组织，不必按任务、领域、动作或场景的类型去堆叠。这为更高效地训练更智能的系统提供了思路。
话说回来，能迁移并不代表什么条件下都能迁移。时序任务、主体驱动的任务以及静态感知，这几类地方转移监督要么很难直接帮上忙，要么帮得有限；论文把这些边界情形和正向结果一并报告了出来。所以配方是一条能指导数据选择的具体规则，并非一句“合成数据有用”就能概括。
关于团队
