清华Asking the World：AI建模够逼真，物理推演能过关吗

AI能把一个世界“搭”得足够逼真，是否就代表它能算准这个世界怎么运转？GPT-6 Astra在场景建模上的表现确实抓人眼球。可几何和外观还原得像，不等于把物理规律拿捏住了。物体不穿模、靠语义先验去猜物理属性，这些跟准确推演物体运动之间还隔着一段路。质量、摩擦系数、阻尼这类光看外表很难确定的属性和参数，得另外想办法识别。

外观还原之后，AI还得过一道物理推演的坎。清华大学团队拿出的Asking the World（ATW）框架，思路是让AI照着视频自己搭出一个能跑起来的物理仿真世界，再靠属性查询、运动仿真和条件干预去收集证据，回答物理属性、运动预测以及反事实推理这类问题。基座模型选的是Gemini-3-Flash，ATW在CLEVRER和ContPhy两项物理推理基准上的整体准确率分别为80.82%和70.56%；跟直接看着视频作答相比，两个数字分别高出46.50和28.10个百分点。

ATW是团队PhysMind的续作，沿用了“先从视频把物理世界恢复出来，再用实验去做推理”的路子。在此基础上，它让智能体自己决定怎么建模、做哪些实验，并把方法推到更多材料和物理场景里。

这套方法不用额外训练，也不用微调，模型选择上还更省钱：比起Astra，Gemini-3-Flash这类视觉语言模型的调用成本低不少。具体分工是视觉语言模型负责理解问题、挑选操作，运动计算交给物理工具。

01｜从视频恢复可执行的物理世界

ATW的方法底子来自团队早前的PhysMind。后者从视频里恢复几何、运动和物理参数，建起一个能接着仿真、也允许改条件的“可执行世界”。

打个比方，把视频里的球体移走，还有哪些碰撞会发生？原视频答不了这个问题。PhysMind的做法是在重建好的场景中拿掉球体，重新跑一遍仿真，再根据轨迹和碰撞事件给出答案。

图 1：PhysMind通过修改重建场景并运行仿真，为“移走球体后哪些碰撞仍会发生”提供判断依据。

要搭出这样的世界，PhysMind先认出物体、恢复形状与运动轨迹，然后借助地面和支撑关系把结果校正过来。物体滑行时怎么减速、碰撞前后速度怎么变，这些都能为估计摩擦和质量之间的关系提供线索。

系统会估计摩擦、质量比例和碰撞恢复系数这些物理参数，靠的是连续时间解析方法，目的就是让仿真结果尽量贴近观测到的画面。这个过程叫“系统辨识”。一段视频只要建一次模型，后面好几个问题都能接着用。

图 2：PhysMind 整体流程，包括几何与运动恢复、物理参数估计，以及通过查询、仿真和干预获取推理依据。

换到不同场景和任务上，AI 该怎么自己挑合适的建模方式，又该拿什么实验去找答案？ATW 顺着前面的思路往下走，要解决的就是这一点。

02｜从建模到实验，由智能体自主决策

判断物理属性，也许读一下参数就够了；要做预测，就得把仿真接着往下跑。任务不一样，该盯住哪些物体、调用哪些工具、拿到哪些证据，也跟着变。ATW 把问题的需求带进世界构建里，整个流程分成“世界建模”和“世界探测”两段。

“世界建模”这一段，智能体先挑出相关物体和物理模型，再调用合适的视觉工具把几何与运动恢复出来，然后拟合物理参数。中间结果它自己会查，发现不对就回头调整感知、模型选择或者参数估计。

论文里的台球案例就能看到这个过程：黄色球一开始没被分割出来，智能体发现后补上检测，再接着往下走。

“世界探测”是建模完成后的下一步。要判断物理属性，查拟合好的参数就行；要预测未来，继续仿真；要回答反事实问题，就复制场景、施加干预。证据不够的话，它会再去查轨迹，或者做新的实验。

图 3：ATW 根据任务与反馈选择操作，包括修正物体漏检、移除棕色球和查询碰撞事件。

这些实验都建立在同一个已经校准好的世界上，各自留下结果，方便放在一起比较。智能体就在这个基础上推演不同条件下的运动，再根据轨迹和事件给出回答。

03｜拓展至多种材料与物理场景

ATW 这次还把能力从刚体碰撞推到了更多材料上。布料会弯折、流体会流动，还可能跟别的物体相互作用，这些都得有对应的物理模型。团队为此做了 PolyWorld Engine，这是一套给智能体用的物理仿真引擎。

这套引擎基于 Warp 搭建，刚体、软体、布料、绳索、流体以及它们之间的耦合交互都覆盖在内。智能体通过一个统一接口就能建场景、读状态、推进仿真，还能施加干预。

图 4：ATW 把统一的建模与实验推理方法用到了刚体、流体和布料等场景中。

建好的场景还得跟视频观测对上。ATW 的做法是搜参数、比对仿真和观测之间的差异，据此校准运动与形变。碰到可变形物体，它还会比较形状、表面或者中心线随时间怎么变。要是偏差出在物体对应关系或物理模型的选择上，智能体可以在建模阶段先改，再重新拟合。

04｜重建世界是否有效，用物理推理任务检验

光把视频里的运动复现出来，还证明不了重建的世界“物理可信”。团队于是拿物理推理任务来验 ATW：让它预测视频结束后会发生什么、判断改动条件后的结果，看恢复出来的动力学能不能帮 AI 把题答对。

在 CLEVRER 上，基础模型用 Gemini-3-Flash 时，ATW 的总体逐题准确率是 80.82%，同一模型直接回答要低 46.50 个百分点，PhysMind 则低 8.27 个百分点。

到了 ContPhy 上——这个数据集包含多种材料和连续介质现象——ATW 总体准确率为 70.56%，比同一模型直接回答高出 28.10 个百分点。

表 1 汇总了 CLEVRER 实验的结果，把直接回答、PhysMind 与 ATW 三种做法放在一起对照。

表 2 则对应 ContPhy 实验，题目涉及属性判断、预测、反事实和目标驱动四类问题。

实拍场景选了台球、弹跳球和玩具车三类，共 60 段视频、60 个问题。ATW 在这批测试中拿到 71.67% 的准确率，同一模型直接回答只有 33.33%。差距摆在这里，也说明这套方法有往更多真实场景推广的可能。

这套流程的起点是 PhysMind 给出的可执行世界。ATW 在它之上把建模、实验和反馈串成一个更自主的推理过程：视觉语言模型管选操作，物理工具管算运动。至于重建出来的世界有没有用，要看它能不能支撑正确的预测和干预推理。

目前相关工作的主页、代码和论文都已经公开，欢迎交流。

Asking the World（ATW）：

• Shenxiang Zeng（曾申翔）, Chen Yang（杨晨）, Peiyao Chen, Guohui Zhang, Jiansheng Fan（樊健生）, Chen Wang（王琛）

• 主页：https://asking-the-world.github.io/

• 代码：https://github.com/zengsx23/Asking-the-World

• 论文：https://arxiv.org/abs/2609.39135

PhysMind：

• Chen Yang（杨晨）, Shenxiang Zeng（曾申翔）, Haoyang Zhao, Zhouyuan Xu, Youquan He, Haoyu Li, Mingyi Deng, Jiansheng Fan（樊健生）, Chen Wang（王琛）

• 主页：https://physmind.github.io/

• 代码：https://github.com/ccyydd/PhysMind

• 论文：https://arxiv.org/abs/2608.04575