清华Asking the World：AI如何用物理回答问题？
AI 能逼真地 “搭出” 一个世界，就能准确预测它如何运转吗？GPT-6 Astra 展现出的场景建模能力令人印象深刻。但几何与外观的逼真还原，并不意味着对物理规律的准确把握。避免物体穿模、借助语义先验估计物理属性，与准确推演物体运动之间，仍有距离。后者还需要进一步识别质量、摩擦系数和阻尼等难以仅凭外观确定的属性与参数
AI能逼真地“搭出”一个世界，是否就意味着它能准确预测这个世界如何运转？
GPT-6 Astra展现出的场景建模能力确实令人印象深刻。不过，几何与外观上还原得再逼真，也不等于把握住了物理规律。避免物体穿模、靠语义先验去估计物理属性，与准确推演物体运动之间仍有距离。要推演运动，还得进一步识别质量、摩擦系数、阻尼这些仅凭外观难以确定的属性和参数。
从还原外观走到推演运动，AI还要跨过一道“物理关”。清华大学团队提出的Asking the World（ATW）框架，做法是让AI根据视频自主构建一个可运行的物理仿真世界，再通过属性查询、运动仿真和条件干预获取证据，从而回答物理属性、运动预测及反事实推理等问题。以
Gemini-3-Flash为基座模型，ATW在CLEVRER和ContPhy两项物理推理基准上的整体准确率分别达到80.82%和70.56%，相较于直接根据视频回答，分别提升46.50和28.10个百分点。
ATW是团队PhysMind的续作，沿袭了“从视频恢复物理世界，再通过实验开展推理”的思路，并更进一步，让智能体自己决定如何建模、开展哪些实验，同时把方法拓展到更多材料和物理场景。
这套方法不需要额外训练或微调，在模型选择上也更经济：相比Astra，Gemini-3-Flash这类视觉语言模型的调用成本低得多。ATW的分工是，由视觉语言模型理解问题、选择操作，再由物理工具计算运动。
01｜从视频恢复可执行的物理世界
ATW的方法基础来自团队此前的工作PhysMind。PhysMind从视频中恢复几何、运动与物理参数，建立一个能够继续仿真、也允许修改条件的“可执行世界”。
比如，把视频中的球体移走，哪些碰撞仍会发生？原视频并没有给出答案。PhysMind的做法是在重建场景中移除球体，重新运行仿真，再依据轨迹和碰撞事件作答。
图 1：PhysMind通过修改重建场景并运行仿真，为“移走球体后哪些碰撞仍会发生”提供判断依据。
这套世界要搭起来，PhysMind得先认物体、把形状和运动轨迹还原出来，然后用地面与支撑关系去校正。物体滑动时怎么减速、碰撞前后速度差多少，这些都能给摩擦和质量关系的估计提供线索。
摩擦、质量比例、碰撞恢复系数这些物理参数，系统用连续时间解析方法去估计，让仿真尽量贴近观测。这个环节叫“系统辨识”。一段视频只要建一次模，后面多个问题都能接着用。
图 2：PhysMind整体流程，包括几何与运动恢复、物理参数估计，以及通过查询、仿真和干预获取推理依据。
ATW沿用这一思路，并进一步拓展：面对不同场景和任务，如何让AI自主选择合适的建模方式，并决定用什么实验获取答案？
02｜从建模到实验，由智能体自主决策
判断物理属性可能只需读取参数，做预测则需要延长仿真。任务不同，需要关注的物体、调用的工具和获取的证据也不同。ATW把问题需求引入世界构建，并将过程分为“世界建模”与“世界探测”两个阶段。
到了“世界建模”这一步，智能体先挑出相关物体和物理模型，再调用合适的视觉工具把几何与运动恢复出来，随后拟合物理参数。中间结果它也会查，发现不对就根据反馈去调感知、调模型选择、调参数估计。
论文中的台球案例展示了这一过程：发现黄色球未被分割后，智能体补充检测，再继续后续步骤。
建模做完，智能体转入“世界探测”。要判断物理属性，就去查拟合参数；要预测未来，就接着仿真；碰上反事实问题，就把场景复制一份、施加干预。证据不够的话，它会再去查轨迹，或者做新的实验。
图 3：ATW根据任务与反馈选择操作，包括修正物体漏检、移除棕色球和查询碰撞事件。
不同实验基于同一个已校准的世界，分别保留结果供比较。智能体在这一基础上推演不同条件下的运动，并依据轨迹与事件作答。
03｜拓展至多种材料与物理场景
ATW的另一项进展，是从刚体碰撞拓展到更多材料。布料会弯折，流体会流动，还可能与其他物体相互作用，需要相应的物理模型。
为此，团队开发了PolyWorld Engine，一套供智能体使用的物理仿真引擎。
它的底座是Warp，刚体、软体、布料、绳索、流体以及它们之间的耦合交互都覆盖在内。智能体通过统一接口就能建场景、读状态、推进仿真、施加干预。
图 4：ATW将统一的建模与实验推理方法应用于刚体、流体和布料等场景。
场景建好之后，还得跟视频里的观测对得上。ATW 会搜索参数，拿仿真结果和观测比对，据此校准运动与形变。遇到可变形物体，它还会看形状、表面或中心线随时间怎么变。要是偏差出在物体对应关系或物理模型的选择上，智能体就在建模阶段动手改，改完再重新拟合。
04｜重建世界管不管用，拿物理推理任务来验
光把视频里的运动复现出来，还证明不了重建的世界在物理上可信。团队于是给 ATW 安排物理推理任务：预测视频结束后会发生什么，判断条件变了结果会怎样，看它恢复出的动力学能不能帮 AI 把题答对。
CLEVRER 上，基础模型用 Gemini-3-Flash，ATW 总体逐题准确率做到 80.82%，比同一模型直接回答高出 46.50 个百分点，比 PhysMind 高出 8.27 个百分点。
ContPhy 涵盖多种材料与连续介质现象，ATW 在这里总体准确率为 70.56%，比同一模型直接回答高 28.10 个百分点。
表 1：CLEVRER 实验结果，直接回答、PhysMind 与 ATW 三者表现对比
表 2：ContPhy 实验结果，涉及属性判断、预测、反事实和目标驱动问题。
实拍的台球、弹跳球、玩具车三类场景共 60 段视频、60 个问题，ATW 准确率 71.67%，同一模型直接回答只有 33.33%。这说明该方法有往更广泛真实场景推的余地。
从 PhysMind 的可执行世界起步，ATW 把建模、实验和反馈串成一套更自主的推理流程。视觉语言模型挑操作，物理工具算运动；重建世界有没有价值，就看它能不能撑起正确的预测与干预推理。
相关工作的主页、代码和论文都已公开，欢迎交流。
Asking the World（ATW）：
Shenxiang Zeng（曾申翔）, Chen Yang（杨晨）, Peiyao Chen, Guohui Zhang, Jiansheng Fan（樊健生）, Chen Wang（王琛）
主页：https://asking-the-world.github.io/
代码：https://github.com/zengsx23/Asking-the-World
论文：https://arxiv.org/abs/2609.39135
PhysMind：
Chen Yang（杨晨）, Shenxiang Zeng（曾申翔）, Haoyang Zhao, Zhouyuan Xu, Youquan He, Haoyu Li, Mingyi Deng, Jiansheng Fan（樊健生）, Chen Wang（王琛）
主页：https://physmind.github.io/
代码：https://github.com/ccyydd/PhysMind
论文：https://arxiv.org/abs/2608.04575
