智源发布悟界·PhysCapBench:跨领域视频描述物理信息评测基准
物理AI基模的核心,是从真实经验中学习可迁移的物理规律,形成理解、预测和作用于物理世界的能力。真实世界的数据里藏着丰富的物理信息:互联网视频记录运动与环境演化,Egocentric呈现手物交互,真机轨迹记录动作与状态响应,力触反馈补充接触力、滑移与形变,不同数据共同提供了互补的物理经验。如何衡量、提炼和耦合这些数据中的
物理AI基模要做的,是从真实经验里学到能迁移的物理规律,进而具备理解、预测并作用于物理世界的能力。真实世界的数据里物理信息很丰富:互联网视频记下运动与环境演化,Egocentric呈现手物交互,真机轨迹记录动作与状态响应,力触反馈补上接触力、滑移与形变,几类数据互为补充。怎么衡量、提炼并耦合这些数据中的物理特性,是构建物理AI基模亟待解决的基础问题。
针对这一点,智源研究院与逆矩阵、北京大学、清华大学、北京航空航天大学联合推出悟界·PhysCapBench。这是首个覆盖第三人称场景、第一人称操作与手持夹爪示范三大领域,统一评测视频Caption物理信息的基准。
该基准全称为悟界·PhysCapBench: A Cross-Domain Benchmark for Physically Grounded Video Captioning,即跨领域视频描述物理信息评测基准。
它从视频描述切入,统一度量描述对物理信息的覆盖与保真程度,为描述策略选择、标注质量评估和训练数据优化提供一把跨领域的“物理数据量尺”。
图1:悟界·PhysCapBench整体框架——跨领域数据、物理标注、描述评测与下游验证
世界模型缺的物理信息,可能就藏在一段Caption里。在建设世界模型预训练数据的过程中,我们反复看到:第三人称场景、第一人称操作、手持夹爪示范等不同来源的视频,现有Caption通常能概括场景与动作,却没能充分保留运动、接触、状态变化及其时序关系。这个缺口不只在原始数据的简短说明里,更长、更流畅的自动生成描述中也可能出现。语言表达完整,不代表物理信息完整。
软胶玩具是个典型例子(见图7):压扁之后,随着压力解除,它会慢慢恢复形状,受压、形变、卸载与回弹共同构成这一过程的关键物理信息。在我们的生成对比中,用物理描述时,结果更好地保留了玩具的立体形态和卸载后的恢复趋势;用原始描述时,玩具在压力解除后仍明显扁平。Caption如何表达物理过程,直接关系到模型得到怎样的条件与监督。
悟界·PhysCapBench 将预训练数据实践里积累的观察和思考,转化为跨领域的参考描述、统一的评价维度以及下游验证流程:一方面检查 Caption 中留存了哪些物理信息,另一方面验证这些信息能否用于视频生成和机器人策略学习,从而为多源真实数据转为有效训练监督提供支撑。
01 覆盖三类互补数据,建立跨领域评价框架
第三人称场景、第一人称操作与手持夹爪示范从不同视角呈现物理过程,给世界模型提供互补的学习经验。其中,第三人称场景重点覆盖物体运动、形变、相互作用与环境变化;第一人称操作关注人与物体的接触、操作过程及状态转换;手持夹爪示范记录夹爪与物体的交互、操作阶段及执行结果。
三类数据被纳入同一评价框架,以物理信息的准确性与完整性作为共同的质量目标。基准共含1,500段视频序列,每个领域各500段;多视角示范中,同一次交互过程作为一段视频序列组织。
图2:第三人称场景、第一人称操作与手持夹爪示范中的物理过程
图3:三大领域数据概览
02 七个评价维度,定位Caption的物理信息缺口
不同描述策略对任务目标、动作步骤和状态变化的覆盖各有侧重。悟界·PhysCapBench从七个维度评价Caption,把整体质量落到具体的信息类型上,为描述策略选择与标注优化提供依据。七个维度各自查什么,见下。
图4:悟界·PhysCapBench的七个物理信息评价维度
七个维度合在一起,要回答的其实是同一个问题:这段描述有没有把物理过程说清楚、说准。下面是第一人称操作领域的描述策略榜单,综合得分和七个维度分数并排列出,不同策略的信息短板一眼可见。
图5:第一人称操作领域描述策略榜单,综合得分与七个维度 Physis为内部测试
03 以视频证据为基础,构建可核验的物理描述
物理过程往往横跨多个时间阶段:接触发生前的运动、接触后的形变,以及动作结束后的状态,通常要结合连续的视频证据才能描述准确。所以高质量的物理Caption得同时满足信息覆盖与证据一致,既保留关键变化,也保证描述能在视频里找到支撑。
悟界·PhysCapBench据此组织参考描述的构建流程:先做全局观察与事件定位,再逐步梳理参与对象、动作过程、接触关系和状态变化,随后对描述内容加以核验,七名专业标注人员参与标注与质量检查。涉及机制与因果的信息,描述以可观察证据为基础;遇到复杂操作,则重点核对阶段划分、交互关系与结果状态是否一致。
图6:基于视频证据的物理标注流程
经过这套流程,参考描述既用于统一评测,也为后续描述生成和数据标注提供可复用的质量依据。
04 物理信息写得完整,下游模型表现能好多少?
评价描述质量,还得看它跟下游效果挂不挂得上钩。悟界·PhysCapBench 从视频生成和操作策略两条路走,看物理信息写得更全,模型表现能不能跟着变好。视频生成这边,物理描述更完整,等于给出更管用的生成条件。前面提到的软胶玩具例子,就能直接看出不同描述条件下生成结果的差别。
图7:软胶玩具受压与卸载后的生成对比。左为真实视频,中为使用物理描述的生成结果,右为使用原始描述的生成结果
再往下,生成模型、首帧和生成时长都固定住,只把条件换成原始数据描述和物理描述,比较生成视频跟真实视频在感知上的差距。
图8:两种描述条件(原始描述、物理描述)下的视频重建指标对比。LPIPS 和 PVCS 用来衡量感知差异,数值越小越理想;同一模型在两种条件下的均值用连线相连,绿色数字表示下降的相对幅度。
两个领域、两种生成模型上,物理描述都带来了改善。第一人称操作领域里,LPIPS 相对下降最高到 30.88%,PVCS 相对下降最高到 28.09%。这说明描述里留下的动作、交互和状态信息,能变成有效的生成条件,帮模型把演化过程生成得更接近真实视频。
机器人策略这边,用的是 Training Instruction Upsampler 来丰富训练语言监督。做法是在原始任务指令之外,补上视频里能看到的动作过程、接触关系和状态变化,让策略学习拿到更完整的语言监督;增强后的指令只用在训练阶段,推理时仍然用原来那句简短指令。
下面的物理交互示例,展示的是操作过程中要留意的状态变化:失败轨迹在操作和放置时把碗弄歪、弄翻,没堆稳;成功轨迹则把三只碗叠了起来。
图9:RoboDojo 接触与放置示例,左侧失败、右侧成功
物体有没有跟着夹爪稳稳移动、接触后会不会倾斜、松开后能不能形成稳定支撑,这些都是操作过程中的关键状态信息。把它们写进训练描述,能给策略学习提供比任务目标更充分的过程监督。
为了看训练指令增强到底管不管用,我们在一个 RoboTwin 2.0 子任务上做了受控实验:同样 50 条示范,一半训练样本用增强指令,π0.5 在 40 个共享测试初始场景中的成功次数从 15 次提到 18 次,成功率由 37.5% 升到 45.0%,提高了 7.5 个百分点。在 RoboTwin 与 RoboDojo 的多任务评估中,四种策略模型在所选任务上的平均成功率都有提升。
从生成条件到训练指令,两类实验说明了物理描述的下游价值,也给数据优化提供了依据:Caption 的质量,应该跟模型预测和执行所需要的信息挂钩。
05 总结
世界模型的数据建设,得看清楚视频里有哪些物理经验,这些经验有没有被完整、准确地转成训练监督。悟界·PhysCapBench 把预训练中的数据实践沉淀下来,做成一把跨领域的“物理数据量尺”:三大领域的参考数据、七个物理信息评价维度,加上视频生成与操作策略的下游验证,为描述策略选择、标注质量评估和训练数据优化提供统一依据。
从评测 Caption 里的物理信息,到验证它的下游价值,悟界·PhysCapBench 为世界模型基座建设提供了一套可复用的数据与评测基础设施。
官方网站
https://hfwang2001.github.io/physcapbench-site/
Github
https://github.com/hfwang2001/PhysCapBench
Hugging Face
https://huggingface.co/datasets/hfwang01/PhysCapBench
论文链接
http://arxiv.org/abs/2611.16424