智源发布悟界·PhysCapBench:跨领域视频描述物理信息评测基准

资讯 AI 行业观察 全文 3436 字 · 约 9 分钟读完 配图 10 张 分类世界模型

物理AI基模的核心,是从真实经验中学习可迁移的物理规律,形成理解、预测和作用于物理世界的能力。真实世界的数据里藏着丰富的物理信息:互联网视频记录运动与环境演化,Egocentric呈现手物交互,真机轨迹记录动作与状态响应,力触反馈补充接触力、滑移与形变,不同数据共同提供了互补的物理经验。如何衡量、提炼和耦合这些数据中的

所属频道 模型发布

物理AI基模要做的,是从真实经验里学到能迁移的物理规律,进而具备理解、预测并作用于物理世界的能力。真实世界的数据里物理信息很丰富:互联网视频记下运动与环境演化,Egocentric呈现手物交互,真机轨迹记录动作与状态响应,力触反馈补上接触力、滑移与形变,几类数据互为补充。怎么衡量、提炼并耦合这些数据中的物理特性,是构建物理AI基模亟待解决的基础问题。

针对这一点,智源研究院与逆矩阵、北京大学、清华大学、北京航空航天大学联合推出悟界·PhysCapBench。这是首个覆盖第三人称场景、第一人称操作与手持夹爪示范三大领域,统一评测视频Caption物理信息的基准。

智源发布悟界·PhysCapBench:跨领域视频描述物理信息评测基准(配图 1) 

该基准全称为悟界·PhysCapBench: A Cross-Domain Benchmark for Physically Grounded Video Captioning,即跨领域视频描述物理信息评测基准。

它从视频描述切入,统一度量描述对物理信息的覆盖与保真程度,为描述策略选择、标注质量评估和训练数据优化提供一把跨领域的“物理数据量尺”。

智源发布悟界·PhysCapBench:跨领域视频描述物理信息评测基准(配图 2) 

图1:悟界·PhysCapBench整体框架——跨领域数据、物理标注、描述评测与下游验证

世界模型缺的物理信息,可能就藏在一段Caption里。在建设世界模型预训练数据的过程中,我们反复看到:第三人称场景、第一人称操作、手持夹爪示范等不同来源的视频,现有Caption通常能概括场景与动作,却没能充分保留运动、接触、状态变化及其时序关系。这个缺口不只在原始数据的简短说明里,更长、更流畅的自动生成描述中也可能出现。语言表达完整,不代表物理信息完整。

软胶玩具是个典型例子(见图7):压扁之后,随着压力解除,它会慢慢恢复形状,受压、形变、卸载与回弹共同构成这一过程的关键物理信息。在我们的生成对比中,用物理描述时,结果更好地保留了玩具的立体形态和卸载后的恢复趋势;用原始描述时,玩具在压力解除后仍明显扁平。Caption如何表达物理过程,直接关系到模型得到怎样的条件与监督。

悟界·PhysCapBench 将预训练数据实践里积累的观察和思考,转化为跨领域的参考描述、统一的评价维度以及下游验证流程:一方面检查 Caption 中留存了哪些物理信息,另一方面验证这些信息能否用于视频生成和机器人策略学习,从而为多源真实数据转为有效训练监督提供支撑。

01 覆盖三类互补数据,建立跨领域评价框架

第三人称场景、第一人称操作与手持夹爪示范从不同视角呈现物理过程,给世界模型提供互补的学习经验。其中,第三人称场景重点覆盖物体运动、形变、相互作用与环境变化;第一人称操作关注人与物体的接触、操作过程及状态转换;手持夹爪示范记录夹爪与物体的交互、操作阶段及执行结果。

三类数据被纳入同一评价框架,以物理信息的准确性与完整性作为共同的质量目标。基准共含1,500段视频序列,每个领域各500段;多视角示范中,同一次交互过程作为一段视频序列组织。

智源发布悟界·PhysCapBench:跨领域视频描述物理信息评测基准(配图 3) 

图2:第三人称场景、第一人称操作与手持夹爪示范中的物理过程

智源发布悟界·PhysCapBench:跨领域视频描述物理信息评测基准(配图 4) 

图3:三大领域数据概览

02 七个评价维度,定位Caption的物理信息缺口

不同描述策略对任务目标、动作步骤和状态变化的覆盖各有侧重。悟界·PhysCapBench从七个维度评价Caption,把整体质量落到具体的信息类型上,为描述策略选择与标注优化提供依据。七个维度各自查什么,见下。

智源发布悟界·PhysCapBench:跨领域视频描述物理信息评测基准(配图 5) 

图4:悟界·PhysCapBench的七个物理信息评价维度

七个维度合在一起,要回答的其实是同一个问题:这段描述有没有把物理过程说清楚、说准。下面是第一人称操作领域的描述策略榜单,综合得分和七个维度分数并排列出,不同策略的信息短板一眼可见。

智源发布悟界·PhysCapBench:跨领域视频描述物理信息评测基准(配图 6) 

图5:第一人称操作领域描述策略榜单,综合得分与七个维度 Physis为内部测试

03 以视频证据为基础,构建可核验的物理描述

物理过程往往横跨多个时间阶段:接触发生前的运动、接触后的形变,以及动作结束后的状态,通常要结合连续的视频证据才能描述准确。所以高质量的物理Caption得同时满足信息覆盖与证据一致,既保留关键变化,也保证描述能在视频里找到支撑。

悟界·PhysCapBench据此组织参考描述的构建流程:先做全局观察与事件定位,再逐步梳理参与对象、动作过程、接触关系和状态变化,随后对描述内容加以核验,七名专业标注人员参与标注与质量检查。涉及机制与因果的信息,描述以可观察证据为基础;遇到复杂操作,则重点核对阶段划分、交互关系与结果状态是否一致。

智源发布悟界·PhysCapBench:跨领域视频描述物理信息评测基准(配图 7) 

图6:基于视频证据的物理标注流程

经过这套流程,参考描述既用于统一评测,也为后续描述生成和数据标注提供可复用的质量依据。

04 物理信息写得完整,下游模型表现能好多少?

评价描述质量,还得看它跟下游效果挂不挂得上钩。悟界·PhysCapBench 从视频生成和操作策略两条路走,看物理信息写得更全,模型表现能不能跟着变好。视频生成这边,物理描述更完整,等于给出更管用的生成条件。前面提到的软胶玩具例子,就能直接看出不同描述条件下生成结果的差别。

智源发布悟界·PhysCapBench:跨领域视频描述物理信息评测基准(配图 8) 

图7:软胶玩具受压与卸载后的生成对比。左为真实视频,中为使用物理描述的生成结果,右为使用原始描述的生成结果

再往下,生成模型、首帧和生成时长都固定住,只把条件换成原始数据描述和物理描述,比较生成视频跟真实视频在感知上的差距。

智源发布悟界·PhysCapBench:跨领域视频描述物理信息评测基准(配图 9) 

图8:两种描述条件(原始描述、物理描述)下的视频重建指标对比。LPIPS 和 PVCS 用来衡量感知差异,数值越小越理想;同一模型在两种条件下的均值用连线相连,绿色数字表示下降的相对幅度。

两个领域、两种生成模型上,物理描述都带来了改善。第一人称操作领域里,LPIPS 相对下降最高到 30.88%,PVCS 相对下降最高到 28.09%。这说明描述里留下的动作、交互和状态信息,能变成有效的生成条件,帮模型把演化过程生成得更接近真实视频。

机器人策略这边,用的是 Training Instruction Upsampler 来丰富训练语言监督。做法是在原始任务指令之外,补上视频里能看到的动作过程、接触关系和状态变化,让策略学习拿到更完整的语言监督;增强后的指令只用在训练阶段,推理时仍然用原来那句简短指令。

下面的物理交互示例,展示的是操作过程中要留意的状态变化:失败轨迹在操作和放置时把碗弄歪、弄翻,没堆稳;成功轨迹则把三只碗叠了起来。

智源发布悟界·PhysCapBench:跨领域视频描述物理信息评测基准(配图 10) 

图9:RoboDojo 接触与放置示例,左侧失败、右侧成功

物体有没有跟着夹爪稳稳移动、接触后会不会倾斜、松开后能不能形成稳定支撑,这些都是操作过程中的关键状态信息。把它们写进训练描述,能给策略学习提供比任务目标更充分的过程监督。

为了看训练指令增强到底管不管用,我们在一个 RoboTwin 2.0 子任务上做了受控实验:同样 50 条示范,一半训练样本用增强指令,π0.5 在 40 个共享测试初始场景中的成功次数从 15 次提到 18 次,成功率由 37.5% 升到 45.0%,提高了 7.5 个百分点。在 RoboTwin 与 RoboDojo 的多任务评估中,四种策略模型在所选任务上的平均成功率都有提升。

从生成条件到训练指令,两类实验说明了物理描述的下游价值,也给数据优化提供了依据:Caption 的质量,应该跟模型预测和执行所需要的信息挂钩。

05 总结

世界模型的数据建设,得看清楚视频里有哪些物理经验,这些经验有没有被完整、准确地转成训练监督。悟界·PhysCapBench 把预训练中的数据实践沉淀下来,做成一把跨领域的“物理数据量尺”:三大领域的参考数据、七个物理信息评价维度,加上视频生成与操作策略的下游验证,为描述策略选择、标注质量评估和训练数据优化提供统一依据。

从评测 Caption 里的物理信息,到验证它的下游价值,悟界·PhysCapBench 为世界模型基座建设提供了一套可复用的数据与评测基础设施。

官方网站

https://hfwang2001.github.io/physcapbench-site/

Github

https://github.com/hfwang2001/PhysCapBench

Hugging Face

https://huggingface.co/datasets/hfwang01/PhysCapBench

论文链接

http://arxiv.org/abs/2611.16424


本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 黄仁勋辞任后,奥尔特曼打破沉默:英雄有缺陷

    【TechWeb】11月17日消息,在英伟达创始人黄仁勋突然辞任数日后,OpenAI首席执行官萨姆·奥尔特曼打破沉默。他没有选择站队,也没有回避。 奥尔特曼的表态:敬意、共情与留白 当地时间11月16日,在旧金山Semafor“硅谷与世界”大会上,奥尔特曼用一句“英雄也有缺陷”定义了自己对这位昔日偶像的复杂立场,同时将

    来源 AI 行业观察
  2. 华为云CloudRobo-WM1.2亮相:机器人“大脑”自研后与模型公司竞争?

    华为云开始亲自下场训练具身智能的“大脑”。11月16日,在华为云CloudRobo具身世界模型发布会上,华为云正式发布昇腾原生具身世界模型CloudRobo-WM1.2,并宣布将其开源。这款模型能够在理解物理环境的基础上预测未来变化,并直接生成机器人动作。按照华为云披露的测试结果,其在RoboTwin 2.0、LIBE

    来源 腾讯网
  3. 阿里腾讯同日发新模型:Qwen4-Max单任务降58%,Hy4 flash仅竞品1/8

    阿里Qwen4-Max基于2.4万亿参数的全新架构,评测中单任务平均费用从26.58元降至11.16元,缓存命中每百万Token低至0.5元;腾讯Hy4 flash激活参数仅12B,评测中单任务成本为DeepSeek同类产品忙时价格的1/8、Hy4的1/20,缓存命中仅需0.02元。 11月16日,阿里和腾讯在同一天各

    来源 AI 行业观察
  4. 10元探店,6元模特:月入800万的AI假体验生意,谁在买单?

    本地生活赛道,探店生意曾形成一条完整的产业链,如今正被AI侵蚀。 传统真人探店拍摄剪辑动辄数百上千元,而现在AI将单条内容的的成本压到10元以内。商家只需上传一张门头照、几张菜肴图,再配一个AI主播,即可生成一条AI探店视频。 此外,抖音等平台上已出现专门的AI探店账号,有博主仅1.9万粉丝,专注此类内容,首页显示累计

    来源 AI 行业观察
  5. 华为云开源昇腾原生具身世界模型CloudRobo-WM1.2,亮出三张牌

    2026年,具身世界模型成了人工智能行业最拥挤的赛道之一。海外,谷歌、英伟达接连加码;国内,智元、星海图、智源、腾讯、阿里相继下场。各家路线略有差异,但共识已经形成:让机器人先理解世界,再做动作决策。有行业媒体梳理显示,国内公开的世界模型已有59个,全球公开入场的公司达55家。11月16日,华为云“行业AI梦工厂...

    来源 腾讯网
  6. 华为云发布昇腾原生具身世界模型WM1.2:双榜第一,11月30日开放权重

    智东西(公众号:zhidxcom)作者 | 三北编辑 | 心缘智东西11月16日报道,今日,华为云推出其首款昇腾原生具身世界模型CloudRobo-WM1.2,并宣布于11月30日正式开放WM1.2模型权重、推理后训练代码及预训练最佳实践。该模型采用共享世界模型骨干网络实现预测增强的世界表征,基于世界模型原生DualA

    来源 腾讯网
  7. 华为云开源CloudRobo-WM1.2:两榜单均列第一

    华为云在杭州发布并开源昇腾原生具身世界模型CloudRobo-WM1.2,采用共享世界模型骨干网络和原生DualAct架构实现动作生成。官方评测显示,其在RoboTwin2.0平均得分88.98%、LiberoPro2.0平均得分81.7%,均位列第一,并围绕世界建模、动作生成等构建五项核心技术。

    来源 凤凰科技
  8. 李飞飞入职AMD任首席科学家,World Labs被收编做3D世界模型

    AMD 11月16日宣布完成收购AI模型公司World Labs,以扩展AI技术栈布局。联合创始人李飞飞加入AMD,任执行副总裁兼首席科学家,直接向董事长兼CEO苏姿丰汇报。World Labs专注生成、重建和模拟交互式3D环境的AI模型,并布局机器人学习与仿真;收购后团队将继续基础模型研究,与AMD工程师协作研发。

    来源 AI 产业速递
  9. 卖出AI硬件,已成为全球投资者共识

    过去两年,全球资本市场最拥挤的交易之一,就是买入AI硬件。 英伟达的GPU、博通的定制芯片、台积电的先进制程,以及光模块、服务器、电源和散热设备,几乎构成了AI投资浪潮中最确定的一条受益链。 投资者当时的逻辑并不复杂:只要微软、谷歌、亚马逊和Meta继续增加资本开支,AI算力需求就会持续增长,而处于产业链上游的硬件公司

    来源 AI 行业观察
  10. 华为公布最新数据:80%中国具身智能企业选择昇腾云

    11月16日华为云CloudRobo具身世界模型发布会上,华为云披露80%的中国具身智能企业选择昇腾云,重点高校基本实现覆盖,并称昇腾云在中国具身智能云市场排名第一。CloudRobo平台已汇聚超1.65万名开发者、230多家企业和高校,累计沉淀超1500项行业资产。

    来源 凤凰科技
  11. 对话 LiberAI 刘松铭:Astra 来袭,00 后物理 AI 创始人看到的胜率

    “有一件事我确实极致热爱,那就是创业本身。”文丨程曼祺 实习生王小淳编辑丨宋玮“清华、00 后、世界模型”,刘松铭完全踩中了这组火热一时的投资标签。他生于 2000 年,2024 年以 RDT-1B 具身模型崭露头角,2025 年底,他在博士三年级时创立 LiberAI,陆续拿到来自真格、红杉、美团龙珠、顺为等机构的

    来源 腾讯网
  12. 雷军:具身智能机器人产业机会远超汽车,AI融入物理世界空间有多大?

    IT之家 11 月 17 日消息,2026 年 APEC 工商领导人峰会 11 月 17 日至 18 日在深圳举办,主题为“共促繁荣,共赢未来”。小米创办人、董事长兼 CEO 雷军认为,过去 4 年时间,AI 大模型的技术突飞猛进,给我们的生活工作带来了巨大变化。 雷军表示,当 AI 走向物理世界、与终端和各类应用场景

    来源 AI 行业观察
  13. 北大天大开源SpatialScout:让AI像人一样主动探索三维空间

    北京大学与天津大学联合发布了SpatialScout,这是一个针对三维空间智能的全新评测基准。不同于以往让AI“看图答题”的静态测试,SpatialScout要求模型操控虚拟摄像头,在80个室内场景中自主移动、拍照并调用三角测量工具,最终构建出物体中心的三维地图。它通过中心误差和三维IoU双重指标,精准评估模型的定位精

    来源 AI 应用前沿
  14. 华为云开源CloudRobo-WM1.2:昇腾训练,两评测居首

    华为云为此设计了跨具身运动建模能力,可以将其理解为“动作翻译器”,支持不同形态的机器人共同学习。 部署时,开发者还能根据算力资源和响应速度需求,选择不同的推理模式,兼顾模型能力与运行成本。华为云宣布将开放模型…

    来源 搜狐科技
  15. 世界模型记不住你?XGEN用DAO给AI世界装了个账本

    你有没有玩过这样的游戏:离开一个场景去做别的事情,回来之后发现一切都恢复了原样,仿佛你从来没来过。你点燃的篝火还在燃烧,你撞倒的花瓶已经自动归位,你和NPC聊过的话题他完全不记得了。这其实是目前几乎所有AI视频生成类"世界模型"的通病。它们能生成非常逼真的画面,但没有记忆,没有持续演化的状态。你一转身,世界就...

    来源 腾讯网
  16. 华为云联手福龙马:智能清扫机器人开启预售,世界模型上车

    华为正在将人工智能布局从数字世界延伸至物理世界。据第一财经报道,11月16日,华为云宣布,与环卫装备企业福龙马联合研制的新一代智能清扫机器人启动预售。其中,华为云将为产品提供CloudRobo开发工具链、感知与规划模型、Agentic运行平台及昇腾云算力。该机器人还引入世界模型,使其不仅能够识别环境,还能对复杂动态物理

    来源 腾讯网
  17. 6.3亿参数模型实时生成GTA画面:Summaryformer如何省显存

    Abhishek Sensharma开源了一个能在浏览器里跑的GTA V世界模型。没有游戏引擎,全靠6.3亿参数的Transformer逐帧生成。文章重点拆解了名为Summaryformer的架构,特别是它如何通过“摘要Token”和旋转位置编码来解决长序列显存爆炸的问题。代码和权重已公开,适合对视频生成底层机制感兴趣

    来源 AI 应用前沿
  18. 百度Q3财报:AI新业务占比53%,智能云收入增94%

    【TechWeb】11月17日消息,百度集团发布2026年第三季度未经审计财务业绩。在传统在线营销业务面临宏观挑战和主动转型阵痛的背景下,百度交出了一份“新旧动能转换”特征鲜明的答卷:AI新业务已占据百度一般性业务收入的53%,全栈AI投入正逐步转化为实质性的规模增长。 营收企稳,利润与现金流保持健康 财报显示,百度第

    来源 AI 行业观察
向下滚动自动加载更多