逆矩阵Physis基座模型发布:120万小时视频教机器人懂物理
逆矩阵推出了通用物理智能基座模型Physis-v1.0-preview。这个模型不靠死记硬背动作,而是通过观看120万小时的真实世界视频,学习物体在受力后的动力学变化。它能在陌生环境中零样本泛化,支持高频闭环控制,训练效率MFU超40%。虽然目前未公开权重,但其“动作条件预测”的技术路线为具身智能提供了一条不同于传统模
让机器人像人一样“懂”物理
这几年具身智能(Embodied AI)走得最多的路,是“模仿学习”——喂给机器人大量人类操作演示,让它记住什么状态下该出什么动作。固定场景里这套办法挺管用,可环境稍一变,或者冒出一个没见过的物体,机器人常常就不知所措了。
逆矩阵(Physis)新发布的 Physis-v1.0-preview 预览版模型想换条路走:不让机器人死记动作序列,而是让它弄懂动作背后的物理规律。说白了,就是让模型看海量真实世界视频,学会预判“我这么动一下,世界会变成什么样”。
这个预览版模型的核心预训练任务,被定义为“动作条件下的真实世界动力学预测”。团队拿120万小时、覆盖1.48亿个片段的多源数据来喂它,里面既有机器人的操作记录,也有大量通用视频和第一视角视频。模型从这些视频里学物体、场景与物理关系的表征,进而形成对动态演化的理解。
这么做的好处很明显:物理交互本身就是现成的监督信号。推一下杯子,杯子倒了,这个结果就是对动作的反馈。任务千差万别,可接触、摩擦、重力这些底层物理关系是共用的。模型因此能从异构数据里学到可迁移的通用能力,而不是只练熟某一个任务的技巧。
不只是看图说话,更是“想象”未来
“动作条件预测”是 Physis-v1.0-preview 的一项关键能力:给当前观测画面和一组候选动作,模型要预测世界接下来会出现怎样的状态变化。
这有点像人的“想象力”。伸手去拿桌上的水杯之前,脑子里其实已经把伸手、握住杯柄、提起来的过程过了一遍;要是模拟出杯子太滑可能掉,就会调整抓握的力度或角度。Physis 模型干的是类似的事,为决策提供这种“想象”能力。
靠这种预测能力,模型遇到陌生环境、新物体和新任务时,能复用已掌握的物理知识做零样本执行。哪怕是从没见过的新物件,只要它的物理属性(重量、材质、形状)落在模型的学习范围内,机器人少量示范甚至不用示范,就能快速适配并完成操作。
实际部署时,这套系统按高频闭环控制来设计。配合低时延推理引擎 PhysisServe,模型能依据连续的视觉和触觉反馈实时修正动作。处理感知噪声、接触动力学的不确定性以及执行约束下的物理任务,这一点很关键。比如精密装配,机器人得根据实时阻力反馈微调位置,而不是闷头走预设轨迹。
复杂的长程任务靠分层架构完成:低频的语义决策负责拆解目标、调用技能模块,高频的控制回路管具体执行细节。两边配合起来,机器人既听得懂“把桌子收拾干净”这种高层指令,也能精准做完“拿起抹布擦拭污渍”这样的底层动作。
背后的大工程:数据工厂与高效训练
想学会物理规律,数据的质量和规模是关键。逆矩阵搭了一个叫 Physis Data Factory 的数据生产系统,它不是简单地收数据,而是把模型算子、任务编排、分布式执行与质量验收整合到一起的统一平台。
原始数据来源很杂:通用互联网视频、第一视角操作视频、UMI(通用机械接口)数据、真机采集数据以及仿真数据都有。面对这么庞杂的数据,团队基于 Lance、Ray、Prefect 等基础设施,建了一套自动化处理流程。
处理过程相当细。先清洗原始数据,再做细粒度的时序 Caption(描述)生成;接着用几何重建、相机轨迹估计、光流与点轨迹提取等技术,把二维视频转成带三维空间信息的结构化数据。最关键的一步,是把视频、三维轨迹与语言标注精确同步,并用反事实成对样本把动作与后果的对应关系显式搭出来。所谓反事实样本,就是展示“如果当时做了另一个动作,结果会有什么不同”,帮模型更准确地理解因果关系。
训练基础设施方面,团队用的是三层异构集群流式架构:Raw data(原始数据)→ Sample(样本)→ Token(令牌)→ Model(模型)。这套架构以训练集群的稳态 token 消费速率为基准,反向规划各层产能;再通过缓存、队列与背压机制吸收异步波动,保证数据供给稳定。
训练侧也做了技术优化。团队把全分片数据并行与上下文并行结合起来:数据加载器预估每个样本的计算量,注意力规划器按 token 可见范围均衡划分工作,同步等待造成的空闲时间因此被消掉。
团队还自研了注意力算子,支持 chunk 内双向、chunk 间时间因果的细粒度可见性。据官方介绍,这一改进较 FA4(FlashAttention-4)提升了 30–40% 的效率;配合统一的激活值管理减少重计算,整体 MFU(Model FLOPs Utilization,模型浮点运算利用率)超过了 40%。在大规模训练里这是相当高的效率指标,说明算力没浪费在通信或等待上。
与 π0 的路线差异
具身智能领域里,Physical Intelligence 公司的 π0 模型是另一个重要参照。把两者摆在一起看,技术侧重并不相同。
π0 的核心预训练目标是视觉-语言-动作流匹配(Flow Matching),架构是 3B 参数的 PaliGemma VLM(视觉语言模型)主干,加上约 300M 参数的 Flow Matching 动作专家。数据主要来自 7–8 种机器人平台的遥操作示教和 Open X-Embodiment 开源数据集,规模大约 1 万小时。π0 的长处是继承了互联网规模的语义知识,跨本体训练也带来一定泛化能力;它通常一次预测 50 步动作分块,最高支持 50Hz 的控制频率,而且 π0-base 版本已经开源。
换到 Physis-v1.0-preview 这边,重点落在对物理规律本身的学习上。它的数据规模是 120 万小时,覆盖 996 万个任务、275 万个场景,来源也更杂,机器人示教之外的材料都算在内。控制上,Physis 要的是更高频的闭环反馈,配上低时延推理引擎,冲着更复杂的动态环境去。训练效率方面,靠自研算子和架构优化,MFU 做到了超 40%。
说白了,π0 更像一个懂语言的机器人专家,拿语义理解能力去指挥动作;Physis 想当的是懂物理的观察者,靠理解世界怎么运转来指导行为。一个吃的是高质量示教数据和语义对齐,一个吃的是海量视频数据和物理一致性建模。
应用场景与局限性
从技术特性看,Physis-v1.0-preview 能用的地方不少。
工业制造是一块。零部件抓取、装配、分拣、质检这些精细活它都能接。零样本泛化能力在,产线频繁换型也扛得住,长尾的、非标准化的工件同样能处理。
物流仓储又是另一块。海量 SKU、库位布局动态变化,包裹拣选、码垛、拆垛、装车这些任务它都能胜任。过去自动化设备得针对每种商品单独编程,基于物理智能的机器人不用,靠视觉识别和物理预测自己适应。
家庭服务的空间更大。整理物品、清洁、洗衣叠衣、餐食准备,都发生在高度非结构化的环境里。每次回家布局可能都不一样,东西摆得也随机。Physis 的快速适配能力,让它在这些开放式家庭任务里有发挥的余地。
商业服务里的餐饮配餐、零售补货,还有科研教育,该模型也能提供基础支撑。对研究人员来说,它不只是个预训练模型,还是一套全栈基础设施,数据工厂、训练框架、部署工具都包含在内。
不过 Physis-v1.0-preview 目前只是预览版,官方还没给出模型本体(权重或 API)的公开地址。开发者和研究者眼下没法直接下载试用,也做不了微调。跟已经开源的 π0-base 比,Physis 在开放性上还要再看。
还有一点,120 万小时的数据规模是庞大,可这些互联网通用视频怎么和机器人实际操作之间的域差距(Domain Gap)有效弥合,仍是个挑战。视频里的物理现象,跟真实机器人传感器看到的有偏差,后续版本迭代得靠更多真机数据来校准。
逆矩阵拿出的 Physis-v1.0-preview,展示了具身智能的另一条路:不单靠昂贵的机器人示教数据,而是从更广泛的真实世界视频里汲取物理常识。数据规模继续扩大、训练效率继续提升,这种“物理智能”基座模型有机会成为未来机器人通用的“大脑”皮层。