UNITAS让机器人学会三维动手:用统一轨迹替代像素预测

资讯 腾讯网 作者:科技行者 全文 4738 字 · 约 12 分钟读完 分类机器人手机

2026年的机器人实验室里,有一个问题一直让研究者们挠头。你训练一个机械臂去拿杯子,给它看了无数段视频,告诉它杯子被拿起来之后画面会怎么变化。听起来挺合理对吧?可现实是,同样一次抓取动作,换个摄像头角度拍,画面里杯子移动的像素距离能差出好几倍。你拿着手机从不同角度拍同一个水杯被挪动的过程,画面里杯子"跑"过的像素...

所属频道 AI 硬件与终端机器人与具身智能

2026年,机器人实验室里有个难题始终困扰着研究者。

训练机械臂抓杯子,常规做法是喂它看大量视频,让它学会预判杯子被拿起后画面如何变化。听上去说得通。可同样一次抓取,只要摄像头角度一变,画面中杯子位移的像素距离就能相差数倍。用手机从不同角度拍同一个水杯被挪动,杯子在画面里“跑”过的像素格数截然不同,而它在真实空间中的位移明明没变。

视频驱动的机器人大脑,吃亏就吃在这里。

**图像作为语言,本身就带“失真”**

过去几年,不少“世界动作模型”(World Action Model)被提出来。这类机器人大脑要同时回答两件事:该怎么动,动完之后世界会变成什么样;核心是把动作生成和环境预测绑在一起学。

思路没错。人类小孩学抓东西,多半也是靠不断“预判”结果来调整动作。问题出在拿图像去承载这种预判。

论文里有个例子很扎心:同一个机械臂动作、同一次物体位移、同一次接触事件,摄像机角度一换,画面里的像素变化就可能完全不同;反过来,两段像素位移看起来相等的视频,对应的真实物理距离也可能相差悬殊。更麻烦的是,不同机器人平台的摄像头安装位置、镜头参数各不相同,像素和物理距离之间这层本就模糊的对应关系,换一台机器人就得重新“学”一遍。

已有研究专门测试过这类基于视频的世界模型,发现它们对视角变化、机器人初始状态变化格外敏感。摄像头挪个位置,或者机器人起始姿势不同,预测质量就开始波动。还有论文观察到,这些模型生成的“预测画面”看着挺逼真,物体的位移却可能画错,刚性物体形状被悄悄“捏变形”,本该静止的背景区域也开始莫名其妙地漂移。

根子在于:图像只是三维世界在某个特定视角下的一次投影。一直用投影后的图像去表示世界怎么变化,动作和场景之间最本质的度量关系,也就是“这个物体在物理空间里到底挪了多少厘米”,就始终是隐藏的、模糊的。机器人在金属世界和视觉世界之间,隔着一层毛玻璃。

投影

**把世界拉回三维**

论文提出的方法叫 UNITAS,全称是“UNIfied Trajectories for Action and Scene flow”(统一的动作流与场景流轨迹)。

好比设计一张城市地图。地图上的距离刻度要是随着你站的位置变来变去,站在桥这头量出的“一公里”和站在桥那头量出的“一公里”不一样长,这张地图再漂亮也没法导航。你需要一套固定的、不随视角变化的坐标系统:地图上一厘米永远对应地面上固定的距离,不管从哪个角度看。UNITAS 要做的,就是给机器人的“世界地图”焊死这套统一刻度。

具体来说,论文定义了两种“流”:

动作流(Action Flow):把人手或机械爪的运动,表示成三维空间里一系列点的位移轨迹,而不是关节角度序列或像素变化。

场景流(Scene Flow):在给定动作流的前提下,描述环境中其他物体的点会如何位移,同样是三维空间里的轨迹。

有意思的是,这套设计把“人手”与“机械爪”这两种外形完全不同的东西,用同一套语言描述:一批在三维空间中移动的点。手指有关节,机械爪靠连杆,控制接口也相差极大;但只要盯住“抓取部位上若干关键点在空间里如何移动”,人手示范的数据与机器人自行采集的数据便能纳入同一训练框架共同学习。

这里藏着一个很现实的考量:高质量机器人操作数据稀缺,采集成本高,而人类用手做各种动作的视频几乎取之不尽。把人手动作和机器人动作统一成同一种三维点轨迹表示,机器人就能从海量人类操作视频里“蹭”到学习素材,不必事事都靠昂贵的真机数据采集。

不这么统一会怎样?人类示范数据和机器人数据只能各玩各的,机器人系统永远得不到那些唾手可得的人类操作视频的滋养,数据规模被人为砍掉一大块。

**没有深度信息,怎么把图像钉进三维空间**

光把动作和场景变成三维点还不够,视觉观察本身也得想办法“钉”进这套三维坐标系。

论文在这里碰到一个实际问题:并非所有摄像头都配深度传感器,很多时候机器人拿到的只是普通 RGB 图像,没有深度信息。没有深度,怎么知道画面里每个像素对应的三维位置?

论文提出的方案名为“世界对齐的三维位置编码”。

世界对齐三维位置编码

有深度数据时处理起来不复杂:先借助相机内参把像素反投影为相机坐标系下的三维点,再通过相机到世界坐标系的变换矩阵做转换,每个像素对应的世界坐标就能直接算出来;随后用傅里叶编码把这份坐标信息注入视觉特征。

没有深度数据时才是真巧妙。论文设计了一种“猜深度”的机制:沿相机光线,在0.1米到2米之间均匀取64个候选深度值,算出每个候选深度对应的三维点,再让网络依据当前图像块的特征给这64个候选位置打分、算权重,最后以加权平均的方式“猜”出一个最可能的三维位置编码。

好比蒙着眼伸手去摸一件家具,看不见,却能凭触感的轻重缓急,在脑子里给“这东西可能有多远”分配一个概率分布,综合起来估个大概距离。换个做法,干脆不要深度信息、让视觉特征彻底脱离三维位置的约束,那模型一遇到摄像头角度变化就会彻底懵掉——它从来没学过“画面里的东西到底在物理空间哪儿”。

更聪明的一步是,论文让这套“猜深度”的机制在训练时直接向“由真实深度算出的位置编码”看齐,用损失函数监督这种猜测,让猜出的结果尽量逼近真实值。这样一来,即便推理阶段完全没有深度输入,模型猜出的位置编码也和有深度时相差无几。论文附录里专门做了对比实验,在

**轨迹是会“变速”的,怎么统一编码时间**

动作和场景都变成三维点轨迹之后,还有一件麻烦事:不同数据来源的轨迹,采样频率完全不一样。

有的模拟器一秒记录20帧,有的真实机器人数据一秒只有10帧,人类手部视频则因来源不同,帧率从6赫兹到10赫兹不等。若把每一帧简单当作独立时间步去编码,不同数据集训练出的模型对“时间”的理解就会乱套:20帧和10帧明明代表同样长的一秒钟,模型却可能把它们当成长度不同的两件事。

论文的解决办法是

物理时间轨迹分词器

具体做法:把时间换算成以秒为单位的相对偏移量,用一个固定的时间基函数表示“过了多长时间”,再借一种叫 FiLM 的调制机制,把这份时间信息注入轨迹的编码和解码过程。整条轨迹最后被压成一个向量(一个token),而非逐帧展开成一长串token。

这就像记录一次旅行:若用“第几张照片”标记时间,一个用手机连拍模式拍了200张的人和一个随手拍了5张的人,记录的是同一趟旅行,可“第几张”这套坐标系完全不兼容,没法直接比较。换成记录“出发后第几分钟拍的”,不管拍了多少张,这套时间刻度都通用。物理时间分词器干的就是这件事,让不同采样率的轨迹数据能用同一套时间语言对话。

不这么处理、直接按帧序号编码的话,混合不同采样率的数据集训练时,模型学到的“运动节奏感”就会被采样率差异搅乱——高帧率数据集里缓慢的动作,可能被误读成低帧率数据集里的快速动作。

**一个大脑,两种输出模式**

技术架构上,UNITAS 用了一种叫“

两个专家并非各干各的,而是层层耦合:动作专家在每一层都能读取点动态专家处理观察信息和语言指令后产生的特征,再结合自身当前状态去生成具体动作。

这个设计支持两种工作模式。

策略模式

模拟器模式

双模式设计其实化解了一个实际矛盾:机器人真实执行任务时,你希望它反应快,别浪费时间“脑补”接下来画面长什么样,直接给动作就行;可若想用这套系统做规划、验证某个动作方案是否合理,又需要它具备预测场景变化的能力。论文测出的数据显示,只生成动作、不做任何场景预测的模式,每个动作块只需55.77毫秒,比同时生成动作和动作流轨迹的方式快2.2倍,比同量级的

好比开车,大部分时候你只需下意识地打方向盘、踩刹车,根本不用在脑子里先放一遍“接下来三秒钟路况会怎样”的电影,直觉反应就够了。但在练车场上做新手训练,教练可能会特意让你先想清楚“打方向盘之后车会往哪偏”,这时“预判”本身就是训练目的。UNITAS 把这两种需求拆成两套可按需切换的运行方式;强行绑死成一种模式,要么执行时慢得没法用,要么丢掉推演场景变化这个有价值的能力。

**实验结果:数字说话**

设计思路说了这么多,实际效果究竟如何?

在

参数量更小、效果更好,这点值得多说两句。论文里有张图专门对比了几个方法的参数规模和在

在 LIBERO-Plus 这个专测鲁棒性的基准上,UNITAS 的整体成功率是89.1%。该基准会刻意改动摄像头角度、机器人初始姿态、指令措辞、光照、背景等条件,制造各类干扰;其中摄像头角度受扰动时,它的表现为82.1%,对比

真实机器人实验方面,论文设置了两项任务:整理书本,以及把球类打包放进袋子。UNITAS 在这两项任务上的成功率分别为90%和80%,对比

动作条件下的场景预测,是最能说明“三维原生”价值的一项测试。论文挑了一个专门预测场景点轨迹的模型来做比较。换算成直观感受,大概是这样的:原先模型预测物体移动后的位置,平均偏差超过半厘米,UNITAS 把这一偏差压到了半厘米以内;本该静止不动的背景区域,它的预测结果也基本不出现“漂移”。对精细操作类机器人任务来说,毫米级的精度差别,往往就决定抓得准还是抓空。

论文另外做了一组消融实验,逐项检验各个设计模块是否真的起作用。如果去掉"

这组对比数据很能说明问题。假设有研究者当初为了省事,认为“图像里本来就有信息,没必要费劲搭三维坐标系”,那么67.58%到85.74%之间这18个百分点的落差,就是省事要付的账。

这事还没完全解决的地方

当然,UNITAS 并非无所不能。论文提到,场景流的监督数据主要取自模拟器环境,因为只有模拟器能给出精确的三维点对应关系真值。在真实世界里拿到这种级别的三维轨迹标注,成本依旧很高。论文附录列了一些“零样本迁移”的案例,把只在模拟数据上训练出的场景预测能力,直接用到

还有一点,论文关注的是较短时间窗口内的动作与场景预测。至于需要长跨度规划、多个子任务串联的复杂操作,这套三维点轨迹表示能否撑得住,论文没有给出足够充分的验证。

写在后面

读这篇论文,印象最深的倒不是那些刷新纪录的成功率,而是“把问题从根上重新定义”的做法。很多领域卡在瓶颈,原因往往不在大家调参不够拼、算力不够堆,而在于最初选定的那套表示方式本身就带有结构性的偏差。图像直观,谁都看得懂,可图像终归是三维世界的影子,用影子去反推实物的尺寸,怎么都别扭。

论文里那个“猜深度”的机制让我颇有感触。没有真实深度数据时,与其硬装作什么都不知道,不如坦然承认“我不确定”,再用概率加权的方式做最合理的推测,同时让这套推测接受真实数据监督、不断校准。带着不确定性做判断,又让不确定性本身可被训练,这种态度放在不少工程问题里都值得参考。

机器人究竟还要多久,才能真正理解“抓起一个杯子”背后的物理含义?答案或许不在给它看更多视频,而在于先想明白:它脑中用来表示这个世界的那套坐标系,到底对不对。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 机器人进退货仓:双臂开始抓衣服,森马天猫退货率51.70%

    (本文作者为 具身志,钛媒体经授权发布)文 | 具身志双11结束了,有些订单已经签收了,有些已经开始往回寄了。对消费者来说,消费者只需要在手机上申请退货,把包裹交给快递员,这笔订单已经结束。但对商家来说,后面的工作才刚刚开始。以衣服为例,那些退回来的包裹,要被送进仓库,经过核对、质检、分类、整理,再重新进...

    来源 腾讯网
  2. 梁文锋越过聊天框

    (本文作者为 字母AI,钛媒体经授权发布)文 | 字母AI11月15日下午,突然有多位DeepSeek用户表示,当他们想接着几天前的对话往下聊时,手机App就会弹出一条提示:“由于算力不足,已超过72小时的长对话暂不可用,可导出对话到其他App使用。”社区里,有用户整理了同时出现的另外几种报错,比如“内容超长,请删减后

    来源 腾讯网
  3. 马斯克披露星舰V4:长约70米、9台发动机,运力跃升

    IT之家 11 月 16 日消息,在 SpaceX 首次成功用发射塔机械臂捕获星舰飞船上面级的第二天,埃隆 · 马斯克(Elon Musk)公布了下一代星舰 V4 版的升级计划。新版本飞船长度将增加约 40%,推进剂装载量提升超过 60%,发动机数量也将从 6 台增加到 9 台。马斯克当地时间周日晚间在 X 平台发文称

    来源 腾讯网
  4. 黄仁勋离任引不满:英伟达机器人工程师辞职

    【TechWeb】11月16日消息,英伟达机器人工程师Darrell Dai(戴达瑞)已通过个人X账号宣布辞职。他在帖子中解释,离职的核心原因是对公司前CEO黄仁勋(Jensen Huang)的离任方式感到失望,认为公司在此事上缺乏透明度和

    来源 TechWeb
  5. 华为云上线盘古2.1-Pro:Agent、代码、推理效率升级

    据华为云官微消息,华为云MaaS模型即服务平台正式上线开源盘古模型openPangu-2.1-Pro。相比上一代,新模型在Agent能力、代码能力和推理效率三个方向上做了系统性升级,在深度研究、鸿蒙系统操控、鸿蒙APP开发、昇腾算子生成及推理链路优化等场景实现增强。

    来源 TechWeb
  6. 华为云上线openPangu-2.1-Pro:Agent、代码与推理效率三项升级

    据华为云官微消息,华为云MaaS模型即服务平台正式上线开源盘古模型openPangu-2.1-Pro。相比上一代,新模型在Agent能力、代码能力和推理效率三个方向上做了系统性升级,在深度研究、鸿蒙系统操控、鸿蒙APP开发、昇腾算子生成及推理链路优化等场景实现增强。

    来源 TechWeb
  7. AI搅动面板业:存储涨价传导,OLED与新技术路线开打

    产业链的景气度,往往是终端市场最直接的镜像。当手机、PC、电视等消费电子产品进入增长乏力的阶段,上游供应链很难独善其身,尤其是面板行业,如今正在经历一场新的周期考验。“内存价格的飙涨,让我们的客户在定价和销量之间产生了巨大的纠结。”在DTC 2026大会上,TCL科技集团高级副总裁、TCL华星首席执行官赵军直接指出..

    来源 腾讯网
  8. 机器人装上双摄却不会用?G3VLA给VLA模型补几何课

    你有没有想过,给机器人装上两个摄像头,到底能带来什么好处?直觉上答案很简单:两个角度看世界,当然比一个角度看得更清楚。可现实是,现在主流的机器人大脑,也就是那些视觉语言动作模型,拿到两个摄像头的画面后,居然把它们当成两张毫无关系的照片分别处理。这就好比你有一双眼睛,但大脑从不把左右眼看到的画面拼起来...

    来源 腾讯网
  9. 王兴兴谈机器人模型泛化:盼一台机器进千家万户即刻干活

    IT之家 11 月 17 日消息,2026 年 APEC 工商领导人峰会 11 月 17 日至 18 日在深圳举办,主题为“共促繁荣,共赢未来”。 宇树科技股份有限公司董事长王兴兴在峰会上表示,最近几年国内乃至全球的机器人行业都非常热,原因是大家看到了纯语言或文字的 AI 模型在个人生活、办公中的价值越来越大,大家希望

    来源 AI 行业观察
  10. 机器人记忆该不该有时钟?纽约大学上海分校团队提出TFP

    泡茶的时候,你把茶包放进水里,然后呢?如果你是一个只会"看图识字"的机器人,这一刻你会很困惑。茶包刚放进去的画面,和泡了三十秒之后的画面,可能几乎一模一样,水还是那杯水,茶包还是那个茶包,颜色变化微乎其微。但正确的动作完全不同:刚放进去要等待,泡够时间了要立刻拿起来。问题是,机器人怎么知道"现在该拿了...

    来源 腾讯网
  11. 马斯克披露星舰V4细节:箭体约70米,发动机增至9台

    马斯克此次披露的核心信息包括:星舰V4箭体长度将增至约70米,推进剂装载量提升超过60%,发动机数量增至9台,并新增3台猛禽真空版发动机。尺寸上,V3星舰长度约为52米,V4增至约70米,增幅约40%;推进剂装载量提升超过60%,意味着单次飞行可携带更多推进剂进入轨道。此次披露发生在SpaceX近期一次星舰试飞之后,该

    来源 TechWeb
  12. 马斯克披露星舰V4方案:70米箭体、9台发动机,运力再升级?

    马斯克此次披露的核心信息包括:星舰V4箭体长度将增至约70米,推进剂装载量提升超过60%,发动机数量增至9台,并新增3台猛禽真空版发动机。尺寸上,V3星舰长度约为52米,V4增至约70米,增幅约40%;推进剂装载量提升超过60%,意味着单次飞行可携带更多推进剂进入轨道。此次披露发生在SpaceX近期一次星舰试飞之后,该

    来源 TechWeb
  13. 众筹超500万美元,全球首款多地形跟拍机器人Beni线下首发

    2026 年 11 月 14 日,深圳湾文化广场北馆INNO100 全球创新旗舰店,Kickstarter为其平台上的众筹爆款新品——妙动科技打造的多地形跟拍机器人Beni,举办“首硬礼”中国线下首发活动。即日起用户可在该线下门店现场体验并直接购买Beni跟拍机器人,标准套装4999元、探索套装5799元。 此前,Be

    来源 AI 行业观察
  14. 蚂蚁灵波挑战赛落幕:TARS战队真机评测82.5分夺冠

    11月16日,蚂蚁灵波首届具身大模型挑战赛总决赛结果出炉。 来自福田实验室、西北工业大学、普渡机器人、天津大学的五位选手组成的“TARS”战队获得一等奖;华中科技大学、清华大学深圳研究院、湖北元一智能的三位选手组成的“EVA”战队,以及天津大学、北京大学、中国科学院自动化研究所三位选手组成的“SST

    来源 AI 开发者社区
  15. TARS战队:00后带队夺蚂蚁灵波具身大模型赛最高分

    11月16日,蚂蚁灵波首届具身大模型挑战赛总决赛结果出炉。 来自福田实验室、西北工业大学、普渡机器人、天津大学的五位选手组成的“TARS”战队获得一等奖;华中科技大学、清华大学深圳研究院、湖北元一智能的三位选手组成的“EVA”战队,以及天津大学、北京大学、中国科学院自动化研究所三位选手组成的“SST”战队获得二等奖;“

    来源 AI 行业观察
  16. 港中文团队Orchestra:机器人执行长指令,难点不在动作生成

    你有没有想过,如果让一个机器人去厨房帮你准备早餐,它需要做哪几件事?拿面包,放进烤面包机,等烤好,再放到盘子里。听起来简单到不值一提,对吧?但如果你把这个任务拆开仔细看,会发现里面藏着一个大坑:机器人得知道自己做到了第几步,得记住哪些东西已经处理过了,还得在场景变化之后依然认得出面包在哪儿、盘子在哪...

    来源 腾讯网
  17. iPhone Duo 中国官网送货时间提前,12 月即可到手

    IT之家 11 月 16 日消息,苹果中国官网现已更新 iPhone Duo 手机送货上门时间,从 2027 年 1 月 23 日提前至 2026 年 12 月 15 日至 2026 年 12 月 22 日。IT之家注意到,目前国内多家 Apple Store 零售店已支持 iPhone Duo 部分版本直接购买和到店

    来源 腾讯网
  18. Anthropic本周上市,OpenAI心发慌

    你大可以原谅OpenAI老板们的懊恼。四年前他们发布ChatGPT,引爆了人工智能热潮。不久之后无数聊天机器人模仿者涌现,但没有一个在流行度上击败过它。到去年,OpenAI的年度营收已飙升至130亿....

    来源 腾讯网
  19. 具身智能融资466起1245亿:机器人离干活还差什么

    2026年,资本、模型和制造同时加速,机器人开始批量走下生产线,但下线不等于交付,演示不等于胜任。具身智能能否真正跨越产业之门,取决于技术能否被组织成稳定工作的系统,并在真实场景中持续创造价值。

    来源 AI 行业观察
  20. 蚂蚁灵波首届具身大模型挑战赛收官:TARS战队82.5分夺冠

    11月16日,蚂蚁灵波首届具身大模型挑战赛总决赛结果出炉。“TARS”战队获一等奖,成员来自福田实验室、西工大、普渡机器人、天津大学;“EVA”战队(华科、清华深研院、湖北元一智能)和“SST”战队(天大、北大、中科院自动化所)获二等奖;“Vida”“FDU_SONIC”“ai-robot”获三等奖。

    来源 AI 产业速递
向下滚动自动加载更多