Vela机器人动作预测新解:用样条曲线画轨迹,少花预算看更远

资讯 腾讯网 作者:科技行者 全文 4131 字 · 约 11 分钟读完 配图 1 张 分类机器人

你有没有想过,机器人手臂在完成一个倒水的动作时,它的大脑里到底在想什么?现在主流的做法是,机器人每次会预测接下来几十个时间点上的具体动作,比如第1毫秒手在哪个位置,第2毫秒手在哪个位置,一直排到第50个点。这套做法有个专业名字。**动作分块**:把未来一段时间的动作切成固定数量的采样点,像拍照一样一帧一帧记...

所属频道 机器人与具身智能

机器人手臂倒水的时候,脑子里到底在盘算什么?这个问题,不同技术路线给出的答案并不一样。

目前常见的做法,是让机器人一次预测未来几十个时间点上的具体动作——第1毫秒手在哪、第2毫秒手在哪,一路排到第50个点。这种做法有个专门的名字。

**动作分块**:把未来一段时间的动作拆成固定数量的采样点,逐帧记录下来,再交给机器人执行,像连拍一串照片。

这套思路沿用了好些年,业内早已习以为常。可它有个别扭之处:相邻两个时间点的动作其实非常接近,手从A点挪到B点,中间路径几乎是连贯的,模型却要为每个采样点单独消耗一份"预测配额"。好比明知隔壁两张照片几乎一模一样,还非得当成两份独立信息存下来,这不是白费脑力吗?

更棘手的是,这种切片方式把"预测多远的未来"和"每一步切多细"死死绑在了一起。总预算就那么多,想看得远,只能切得粗;想切得细,就只能看得近。可现实中,机器人倒水这类动作前半段是平缓的转手腕,后半段却是对准杯口的精细操作,一套固定的切片粒度,怎么可能两头都照顾到?

这正是本文要讲的工作,出自复旦大学、香港中文大学等机构的研究者之手。

**核心问题出在哪**

要理解

**

研究者判断,问题未必在模型够不够大,而是"动作"这个输出本身的表示方式出了毛病。机器人的手不会凭空在一堆孤立的点之间跳来跳去,它走的是一条连续轨迹。既然这样,何不直接让模型去预测轨迹的形状,而非去猜轨迹上一个个孤立的采样点?

这就像向朋友描述一条蜿蜒的山路。一种办法是每隔十米拍一张照片,发给他一百张,让他自己脑补路的走向;另一种办法是只画一条曲线草图,标出几个关键拐点,告诉他"路就是这样弯的"。后一种用更少的信息,讲清了更完整的结构,朋友还能沿着这条曲线在任意位置插值,不必你把每个点都拍下来。如果坚持用照片,想描述更长的山路,要么多拍,要么牺牲清晰度拉大间隔——动作分块方法面临的两难,正在于此。

**用样条曲线给动作画像**

Vela

**

具体说,Vela不再预测一长串动作点,转而预测固定数量的12个控制点,外加一个标量,用来表示这段动作要持续多久。

这里最巧妙的设计在于:控制点数量固定,时长可变。

好比用一支笔画画,画布大小是固定的,但画的是辽阔草原的全景还是一朵花的特写,笔触疏密完全不同。如果硬性规定每幅画都得用同样的笔触密度覆盖同样大小的场景,画草原时笔触太疏会丢细节,画花朵时笔触太密又显得浪费。过去那些样条策略研究的局限就在这里——它们大多固定了曲线覆盖的时间跨度,所有动作都套用同一个折中方案。

**怎么知道该用多长的视界**

问题随之而来:训练的时候,怎么给每一段演示动作标出"合适"的视界长度?靠人工一条条标不现实,数据量太大,得有个自动化的判断标准。

研究者为此设计了一套**

简单讲,对每一段演示动作,系统会拿候选的各种视界长度(从16到40不等)去拟合,再看拟合完剩下的误差有多大。但这里埋着一个陷阱:误差不可能为零。演示数据本身带着人类操作或传感器记录留下的抖动和噪声,就算曲线完美贴合了动作的真实轨迹,残留误差依然在。

若直接拿原始误差大小做判断,就分不清这误差到底是"曲线没拟合好"还是"数据本身就有噪声"。打个比方,让学生临摹一幅画,画得再像,手抖造成的线条毛边总归存在,你不能一见毛边就说他临摹得不准,得先弄清这位学生手抖的正常幅度,超出这个幅度才算真没临摹好。Vela的做法是:先给每个数据源、每个动作维度估出一个"正常抖动幅度"作参考值,再把拟合残差除以这个参考值做归一化,这样算出的指标,才能真区分"动作太复杂曲线没学到"和"这就是正常操作噪声"。

视界怎么选?规则简单:候选里凡是误差达标的,取最长的一个。这样一来,平滑的动作能拿到更长的视界,复杂多变的动作则只能分到更短的视界,固定的控制点预算也就分得更合理了。

机械爪这类开合动作是例外。它的状态变化呈跳跃式,不像连续坐标那样平滑,用除以噪声参考值的办法反而会出问题(分母趋近于零),所以这类通道被单独拎出来,改用另一套基于归一化误差上限的简单规则处理。

**怎么训练出这套能力**

光有表示方法还不够。研究者还得解决另一个问题:如何把这套曲线学习方式,扩展到大规模、多种机器人形态混合的数据上训练。

Vela的骨架沿用了

**

预训练用了约2万小时公开机器人数据(覆盖60个数据集、11种不同的机器人形态),外加2万小时私有数据。为了让不同形态的机器人(有的单臂,有的双臂带轮子移动底盘)共用同一套训练框架,研究者设计了一个26维的统一动作空间:每条手臂占10维(3维平移、6维旋转、1维夹爪),剩下6维分给头部、腰部和底盘的运动;缺失的维度用有效性掩码挡住,不参与计算。

损失函数的设计上还有个细节。误差如果直接算在控制点坐标空间里(论文里叫这个做法为CP-FM),跟放在实际轨迹上算(DT-FM)会有什么差别,研究者专门做了比较。

打个比方,检查蓝图和检查盖好的房子,哪个更要紧?蓝图上的尺寸差一点点,要是正好落在承重墙的位置,后果很大;落在装饰线条上,基本没影响。只按蓝图上的数字误差打分,坐标空间里的小偏差会被放大,而轨迹上肉眼看不出区别的地方反倒被当成大问题。

**实验说了什么**为了回应“是不是光靠π0.5这套基础架构就能出好成绩”的疑问,研究者补了一组对照实验,名字叫

在

在

下表列出了部分关键对比数据:

| 方法 |

|---|---|---|---|

| π0 | 15.0% | 33.7% | 47

|

| π0.5 | 39.3% | 41.4% | 54

|

| **Vela** | **45.3%** | **49.7%** | **66**

真实世界里的表现同样能说明问题。研究者在一台带轮子的双臂机器人上跑了两个长时序、需要双手配合的任务:做蛋糕卷和切土豆丝。做蛋糕卷分成加面糊、加配料、抓锅、出锅装盘四个阶段,Vela的平均子任务成功率是67.5%,π0.5只有37.5%。

真实机器人上的这些数字之所以关键,是因为模拟环境做得再细,也总有跟真实物理世界对不上的地方。在真实的锅碗瓢盆、真实的土豆和擦丝器上跑出明显优势,说明这套轨迹表示方法并非只在实验室数据集里讨巧,它确实碰到了接触密集操作的要害。

**消融实验透露的细节**

论文另外设计了三组对照实验,用来拆解Vela的收益究竟来自哪里。

第一组针对一个很自然的疑问:模型预测完一串动作点之后,事后拿样条曲线去拟合、重采样,能不能拿到差不多的提升?研究者的答案是不能。事后拟合的做法在各种执行步数设置下都没追上Vela。训练阶段就让模型直接学预测轨迹参数,和训练完再硬套一层样条外壳,是两码事。前者是模型真理解了轨迹的结构,后者只是把原来的点状预测做了个平滑。

第二组单独检验“视界自适应”这个设计有没有必要。研究者把固定视界长度和自适应视界长度摆在一起比,结果是:即便视界固定,Vela的曲线表示本身也优于传统点状预测;加上自适应视界后,每个难度级别的成绩又都往上走了一截。两个创新点各自独立,又互相加成。曲线表示解决的是“相邻动作被重复编码”的浪费,自适应视界解决的是“固定切分粒度顾此失彼”的矛盾。

第三组盯的是损失函数。前面提过,DT-FM比CP-FM略好,但差距不大,这说明它属于优化项,不是决定项。

**写在后面**

读完这篇论文,最让人意外的是研究者没有去堆更大的模型或更多的参数。Vela用的骨架和π0.5一模一样,一个可训练参数都没多加,只改了“动作该怎么被表示”这一个环节,就把性能整体撬了起来。这提示了一个常被忽略的方向:卡住系统的往往不是算力,也不是数据量,而是数据被编码的方式本身有没有贴合问题的物理本质。机械臂的运动天生连续,拿离散采样点去逼近连续运动,就像用方块拼图去拼一个圆,块数再多,边缘还是锯齿状;样条曲线一开始就是圆的形状。

论文里那个“噪声感知”的视界选择机制也值得单独说一句。它做的是区分“数据里的随机抖动”和“数据没被充分建模的结构性变化”,这其实是各种数据拟合问题里都存在的老问题:眼前这点误差到底该不该信,取决于你对噪声水平有没有靠谱的估计。统计学里常讨论的过拟合和欠拟合边界,跟这是一回事。Vela相当于把这套古老的统计直觉,用工程化、能批量自动处理的方式嫁接到了机器人动作建模上。

论文自己也承认有几处没做完。控制点数量现在是固定的12个,只有视界长度在自适应;如果控制点数量也能跟着动作复杂度动态调整,表现会不会再好一些?这需要支持变长预测的新训练目标,目前还是空白。另外,整个研究用的还是π0.5规模的模型,换上更大的视觉语言主干、更大的动作专家网络能带来多少增量,论文里也没给答案。

假如有一天机器人真能像人一样,凭直觉就知道一个动作该画多长的弧线、哪里收紧哪里放松,那就等于从“记住每一帧怎么做”跨到了“理解运动本身是什么”。这篇论文也许只是这条路上的一小步,但踩得挺扎实。

Q&A

Q1:Vela是什么?

A:Vela是复旦大学、香港中文大学等机构提出的视觉语言动作基础模型。它用样条曲线和可自适应的时间跨度来表示机器人未来的动作轨迹,传统方法则是在固定网格上预测一串动作点。

Q2里问的是,Vela跟传统做法比强在哪。

先看数据。LIBERO-X模拟测试上,Vela平均成功率达到45.3%,π0.5是39.3%,前者高出6个百分点。EBench测试上,Vela综合成功率49.7%,π0.5为41.4%。换到真实机器人,做蛋糕卷任务时Vela平均成功率67.5%,π0.5只有37.5%,差距拉得很大。接触密集的操作环节,Vela的优势尤其明显。

Q3问的是,Vela的核心创新点落在哪。

归纳起来是两条。第一条,动作轨迹用固定数量的样条控制点来表示,再配一个可变的时间跨度,这样同样的预测预算,既能覆盖长而平滑的动作,也能覆盖短而精细的动作。第二条是提出

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 雷军看好具身智能机器人:未来市场想象空间或超汽车产业

    IT之家 11 月 17 日消息,2026 年 APEC 工商领导人峰会 11 月 17 日至 18 日在深圳举办,主题为“共促繁荣,共赢未来”。小米创办人、董事长兼 CEO 雷军认为,过去 4 年时间,AI 大模型的技术突飞猛进,给我们的生活工作带来了巨大变化。雷军表示,当 AI 走向物理世界、与终端和各类应用场景深

    来源 腾讯网
  2. 小鹏IRON人形机器人明年二季度对外开售,何小鹏预告科技日亮相

    IT之家 11 月 16 日消息,据蓝鲸新闻报道,今日晚间在小鹏集团 2026 年 Q3 财报电话会上,其董事长、CEO 何小鹏预告,在接下来的小鹏科技日和广州车展,最新版本的小鹏 IRON 将会公开亮相,将展示一系列与众不同的能力。何小鹏透露,明年一季度,量产的首批机器人将进入小鹏的部分门店开启试用;明年二季度,小鹏

    来源 腾讯网
  3. 思灵机器人完成5亿美元融资,工厂自动化方案才是其核心收入来源

    总部位于德国慕尼黑的思灵机器人(AgileRobots)近日宣布完成5亿美元F轮融资,投后估值85亿美元。本轮由软银集团领投,英伟达、日立集团和T.Capital等参投。至此,思灵累计融资约20亿美元。按思灵的说法,它是欧洲估值最高的私营机器人公司。这条消息在国内被广泛转发时,标题和配图大多落在人形机器人上,有媒体直接

    来源 腾讯网
  4. 谷歌地图Ask Maps升级:AI可代打电话订位,还能规划自驾路线

    谷歌于2026年11月16日宣布对其基于Gemini技术的 Google Maps 聊天机器人 Ask Maps 进行重大功能更新。该工具现在不仅能够查找美容、宠物护理、汽车和房屋维修等各类预约服务,还能直接致电当地商家完成预订,并在显示可用时段前自动收集必要信息。同时,用户还可借助该功能查找已保存

    来源 AI 开发者社区
  5. 马斯克披露星舰V4细节:箭体约70米,发动机增至9台

    马斯克此次披露的核心信息包括:星舰V4箭体长度将增至约70米,推进剂装载量提升超过60%,发动机数量增至9台,并新增3台猛禽真空版发动机。尺寸上,V3星舰长度约为52米,V4增至约70米,增幅约40%;推进剂装载量提升超过60%,意味着单次飞行可携带更多推进剂进入轨道。此次披露发生在SpaceX近期一次星舰试飞之后,该

    来源 TechWeb
  6. 马斯克披露星舰V4方案:70米箭体、9台发动机,运力再升级?

    马斯克此次披露的核心信息包括:星舰V4箭体长度将增至约70米,推进剂装载量提升超过60%,发动机数量增至9台,并新增3台猛禽真空版发动机。尺寸上,V3星舰长度约为52米,V4增至约70米,增幅约40%;推进剂装载量提升超过60%,意味着单次飞行可携带更多推进剂进入轨道。此次披露发生在SpaceX近期一次星舰试飞之后,该

    来源 TechWeb
  7. 机器人记忆该不该有时钟?纽约大学上海分校团队提出TFP

    泡茶的时候,你把茶包放进水里,然后呢?如果你是一个只会"看图识字"的机器人,这一刻你会很困惑。茶包刚放进去的画面,和泡了三十秒之后的画面,可能几乎一模一样,水还是那杯水,茶包还是那个茶包,颜色变化微乎其微。但正确的动作完全不同:刚放进去要等待,泡够时间了要立刻拿起来。问题是,机器人怎么知道"现在该拿了...

    来源 腾讯网
  8. 第一个为黄仁勋辞职的人,出现了

    作者 | 邱鑫浩来源 | 邱处机黄仁勋离开英伟达的第五天,第一个公开追随他而去的人,出现了。不是跟了他三十年的老臣,不是董事会里的盟友,而是一个做机器人学习的工程师——戴士钦,英文名Darrell Dai,在英伟达做具身智能相关的研究工作。11月15日,他在X上发了一篇不算长的帖子,宣布自己将离开这家他原本打算长待的公

    来源 腾讯网
  9. 王兴兴:AI泛化临界点将至,机器人潜力有多大?

    “很多普通老百姓看到的大部分还是在‘水面以上’的,但是在‘水面以下’,很多情况真的是更加波涛汹涌。”11月17日,在APEC工商领导人峰会“共建开放普惠的人工智能创新生态”专题研讨环节,王兴兴再次表达了他对AI大模型和机器人技术的看好。王兴兴表示,今年AI大模型领域和机器人领域取得的技术突破非常“激动人心”,并...

    来源 腾讯网
  10. AMD收购World Labs:李飞飞任执行副总裁兼首席科学家

    AMD于11月16日宣布,已完成对AI模型公司 World Labs 的收购,以进一步扩展其在AI技术栈领域的布局。World Labs联合创始人李飞飞将加入AMD,担任执行副总裁兼首席科学家,直接向董事长兼CEO苏姿丰汇报。 World Labs专注于开发能够生成、重建和模拟交互式3D环境的AI模

    来源 AI 开发者社区
  11. 谷歌地图Ask Maps迎重大更新:支持AI代打电话预约及智能行程规划

    谷歌于2026年11月16日宣布,基于Gemini的Google Maps聊天机器人Ask Maps重大更新。该工具可查找美容、宠物护理、汽车、房屋维修等预约服务,直接致电当地商家完成预订,并自动收集必要信息;还能查已保存餐厅的即时空位。行程规划可依兴趣生成,支持修改、分享或导出至谷歌。

    来源 AI 产业速递
  12. 大寰机器人启动上市辅导:字节跳动参投,电动夹爪已进宝马供应链

    具身智能赛道的资金,正从扎堆追捧人形机器人整机本体,转向重仓上游核心部件。当不少本体公司还在依靠融资持续输血、等待通用场景落地时,一家扎根末端执行器赛道的企业,已经走到了IPO门前。 11月14日,据深圳证监局公开信息显示,大寰机器人科技股份有限公司(以下简称“大寰机器人”)于2026年11月13日正式启动上市辅导备案

    来源 AI 行业观察
  13. 李飞飞入职AMD任首席科学家,World Labs被收编做3D世界模型

    AMD 11月16日宣布完成收购AI模型公司World Labs,以扩展AI技术栈布局。联合创始人李飞飞加入AMD,任执行副总裁兼首席科学家,直接向董事长兼CEO苏姿丰汇报。World Labs专注生成、重建和模拟交互式3D环境的AI模型,并布局机器人学习与仿真;收购后团队将继续基础模型研究,与AMD工程师协作研发。

    来源 AI 产业速递
  14. 王兴兴谈机器人进家:泛化能力是最棘手难题,规模化还有多道坎

    IT之家 11 月 17 日消息,据看看新闻 Knews 报道,宇树科技 CEO 王兴兴今日现身深圳,参加 APEC 工商领导人峰会时,谈到机器人行业目前面临的挑战。 王兴兴表示,大家希望可以借助 AI,让机器人走进千家万户真正干活,而不是再根据具体场景重新训练,这种“泛化能力”是目前最棘手的。 IT之家从原报道获悉,

    来源 AI 行业观察
  15. 深圳前海这场科技展:87家企业154件展品,机器人从客厅走向车间

    21世纪经济报道记者 石恩泽 深圳报道 世界再次把目光投向中国南海之滨,这一次,深圳用一座会客厅和一群机器人作答。 1979年,蛇口的一声开山炮拉开了中国改革开放的序幕。四十多年后,同一片海湾,亚太经合组织第三十三次领导人非正式会议将于11月18日至19日在深圳举行,世界的目光将在这里再次打量中国。 会议期间,前海..

    来源 腾讯网
  16. 王兴兴谈2026年:机器人AI突破在即,量产与算力挑战待解

    南方财经 21世纪经济报道记者 郑青亭 深圳报道11月17日,2026年APEC工商领导人峰会在深圳举行。宇树科技创始人王兴兴在会上表示,最近几年国内乃至全球机器人行业都非常热,原因是纯语言或文字的AI模型在个人生活和工作中的价值越来越大,大家希望借助AI让机器人真正干活。但他也坦言,目前挑战也不小。他认为,当下最棘手

    来源 腾讯网
  17. 埃里克·特朗普背书机器人公司欠薪停摆,CEO曾挪用资金买豪宅

    一家曾以“机器人士兵”概念吸引资本、并获得埃里克·特朗普背书的机器人初创公司,近日被曝未能按时发放员工工资,濒临倒闭。而就在一年前,其CEO被指挪用公司资金购置豪宅。这起事件不仅暴露了明星初创企业的治理失序,也为火热的国防科技投资敲响警钟。

    来源 AI 科技快讯
  18. 蚂蚁灵波挑战赛落幕:TARS战队真机评测82.5分夺冠

    11月16日,蚂蚁灵波首届具身大模型挑战赛总决赛结果出炉。 来自福田实验室、西北工业大学、普渡机器人、天津大学的五位选手组成的“TARS”战队获得一等奖;华中科技大学、清华大学深圳研究院、湖北元一智能的三位选手组成的“EVA”战队,以及天津大学、北京大学、中国科学院自动化研究所三位选手组成的“SST

    来源 AI 开发者社区
  19. TARS战队:00后带队夺蚂蚁灵波具身大模型赛最高分

    11月16日,蚂蚁灵波首届具身大模型挑战赛总决赛结果出炉。 来自福田实验室、西北工业大学、普渡机器人、天津大学的五位选手组成的“TARS”战队获得一等奖;华中科技大学、清华大学深圳研究院、湖北元一智能的三位选手组成的“EVA”战队,以及天津大学、北京大学、中国科学院自动化研究所三位选手组成的“SST”战队获得二等奖;“

    来源 AI 行业观察
  20. 杨哲轩谈数据编译:结构化语言如何让机器人重新进入真实世界

    ▲从一只瓷杯到可复用的数据资产——编译发生在每一次操作之后。 桌上摆着几只茶杯。采集者戴上头戴设备,把杯子逐一拿起、移开,再放回原位。设备记录了连续视频和惯性测量单元(IMU)数据。看上去,动作已经被完整保存。可一旦任务结束,这段经验通常也就结束了。它没有自然地变成下一次可以调用的能力。 但在杨哲轩看来,问题恰恰在这里

    来源 AI 行业观察
向下滚动自动加载更多