港中文团队Orchestra:机器人执行长指令,难点不在动作生成

资讯 腾讯网 作者:腾讯网 全文 4263 字 · 约 11 分钟读完 配图 1 张 分类机器人

你有没有想过,如果让一个机器人去厨房帮你准备早餐,它需要做哪几件事?拿面包,放进烤面包机,等烤好,再放到盘子里。听起来简单到不值一提,对吧?但如果你把这个任务拆开仔细看,会发现里面藏着一个大坑:机器人得知道自己做到了第几步,得记住哪些东西已经处理过了,还得在场景变化之后依然认得出面包在哪儿、盘子在哪...

所属频道 机器人与具身智能

假如让一台机器人进厨房帮你做早餐,它得完成哪些步骤?

取面包、塞进烤面包机、等烤好、再装盘。听着简单得没什么可说,对吧?可一旦把这件事拆细,麻烦就出来了:机器人要清楚自己进行到哪一步,要记得哪些东西已经处理过,还得在场景变动之后照样找得到面包和盘子在哪。

香港中文大学团队的这篇论文,盯的正是这个看似简单、却长期没人细究的问题。他们给系统取了个颇有诗意的名字,叫**问题到底难在哪**

先说明一点:眼下机器人的"大脑",专业叫法是VLA模型,本事已经相当强了。像问题卡在"连续"二字上。现实里没人只让机器人干一件事。你会说"把编号1、2、3的牌子按3、1、2的顺序摆到蓝色垫子上",或者说"把图里这几样东西统统丢进垃圾桶"。这类指令里包含先后次序、包含反复判断、也包含对场景变化的持续跟踪。第一步做完,桌面已经和刚才不一样了,机器人得知道接下来该做哪件,既不能重复刚做完的那步,也不能漏掉某步没做就往下走。论文引用了一个颇为扎心的数据作参照:

**

这正是论文开篇抛出的系统级问题:一个动作策略,怎样才能执行完一整条跨越很长交互序列的用户指令?只把动作生成能力做强,解决不了它。

办法是**把"想"和"做"分开**。Orchestra具体看,系统分两大块。一块管"构思":接到用户的完整指令后,由负责任务编排的智能体把它拆成一串有先后的子任务,并标出每个子任务牵涉哪些物体。另一块管"实现":动作策略模型按照当前子任务生成具体动作,同时另一个单独训练的这两块共用一样东西,叫做"共享上下文"。

**

不妨把这个共享上下文想成项目经理桌上常年摆着的那块白板。板上写着"眼下做到第几步"、"这步要用的东西在哪儿"、"刚才发生了什么"。干活的人不必自己记,抬眼看看板就行;判断进度的人也不用猜,照着板上的记录看即可。要是没有这块板呢?那就成了各人凭各自记忆办事,很快会乱成一团:有人以为还在第一步,有人已经悄悄摸到第三步。论文的消融实验印证了它的分量:拿掉任务编排模块,平均连续完成子任务数(

7.35和1.502之间的差距,值得停下来咂摸一下。这已经不能算性能打折扣,而是从"能完整跑完一长串指令"退化成"刚起步就卡死"。

**物体会跑,记忆得跟着跑**。只知道"现在做第几步"还不够,机器人还得清楚"要动的东西此刻在哪儿"。桌上的面包被拿走后,原位就空了,若还按旧坐标去抓,必然抓空。论文用两个视觉模型处理这件事,一个叫

**

,再拿这个点做更精细的轮廓分割。整个流程是:每次切到新子任务,就重新用

这个设计针对的,说到底就是"信息会过期"。倘若拿任务刚开始时拍的那张照片去定位物体,等动作执行了十几步,那张照片早就不准了。好比你出门前瞄了一眼手机地图上的路况,可堵车信息随时在变,走到一半还死守出发前那张截图,很可能一头扎进刚刚形成的拥堵里。消融实验显示,去掉这套空间定位机制,平均ASL从7.35跌到5.814,降幅20.9%;在视觉更复杂的任务上(比如"遮盖和揭开方块")尤其明显,从5.82直接掉到2.81。

**短期记忆:让机器人"记住刚刚发生的事"**。还有个细节容易被忽略:机器人只看当前这一帧画面,有时并不够。论文给动作策略加了短时间窗口的视觉记忆,技术上称为时空分离注意力

**

每个摄像头会取最近6帧画面,帧与帧之间按隔3帧的间隔采样,再把这几个画面放在一起理解当下的动态场景,而不是只盯住某一瞬间的静态画面。

这就像看一场正在进行的篮球赛,只给你一张定格照片,你根本分不清球是正飞向篮筐,还是刚被扔出去。得连着看几帧,才能判断运动方向和速度。机器人去抓一个正在被推、或者正在倒的物体时,同样需要这种连续感。要是抽掉这段短期记忆会怎样?实验数据很直接:去掉之后,平均ASL从7.35掉到2.5,降了66%;在"按按钮"任务上更是从5.79跌到1.28。不过论文也特别说明,这套机制并没有增加传给语言模型的视觉信息量,256个视觉token和单帧版本一模一样,多出来的计算都花在视觉编码器内部的时序融合上了。

接下来要解决的问题是:怎么判断该不该换下一步。

到这时,系统已经知道该做什么、东西在哪儿、刚刚发生了什么,还差最后一环——判断这一步有没有做完,什么时候切到下一步。

这件事交给一个单独训练的"进度评估器":它跟动作生成模型完全独立、单独训练,专门判断当前子任务的完成进度,输出11个离散等级的分类结果,用来决定何时切换到下一个子任务。

这个设计的关键,是把"判断完成"从动作生成模型里拆出来单独训练。原因在于,动作生成要回答的是"怎么把手移到正确位置",完成判断要回答的是"这件事到底完没完",两种能力性质不同,混在一起练反而互相干扰。论文做了一个对照实验:用模拟器里直接读取的真实状态(也就是"上帝视角"的标准答案)替换学出来的评估器,结果平均ASL只有7.374,跟学出来的评估器的7.35几乎没有差别。也就是说,这个独立训练出来的进度判断能力,已经逼近理论上的上限。

训练评估器用的标签也挺巧,不用人工去标"这一帧是不是完成了",而是拿演示数据里每一帧在整个子任务时间段中的相对位置,自动生成进度标签——越靠近子任务结束的帧,进度值越高。研究团队还专门查了演示数据里"已经完成"状态那段画面,大约占整个子任务时长的9%到11%,这个比例正好落在他们设定的终止类别判定边界之内,说明自动标注这套逻辑站得住。

下面要看的是考验机器人的新考场。

论文的另一个重要贡献,是一个新的评测基准,叫RMBench-Compose。现有的RMBench里,每个任务的指令和执行顺序都是固定模板;真实世界里,指令的长度和顺序却千变万化。RMBench-Compose改造了五个仿真环境(按按钮、捡物体、遮盖揭开方块、交换方块、把方块放到垫子上),让系统能生成长度和顺序都可变的任务组合,专门检验一件事:机器人只用短小的单步任务训练过,能不能应付长达十几步的组合任务。

这个设计其实是在模拟一种常见的现实落差。培训新员工时,往往是一个任务一个任务单独教,可上岗之后,面对的是一整天连续不断、顺序复杂的工作安排。只在"单项技能达标"这一层考核,根本看不出这个人能不能真正胜任连续工作。论文的数据也印证了落差有多大:基础版的

而完整的

实验结果很能说明问题。

把这些设计拼到一起后,论文在三个战场上做了检验。

在RMBench这个标准基准上,Orchestra拿到68.22%的平均成功率,比此前最好的

| 方法类型 | 代表方法 | RMBench平均成功率 |

|---|---|---|

| 基础策略 | π0.5 | 10.44% |

| 双系统记忆模型 | Mem-0 | 42.00% |

| 端到端记忆模型 |

| 智能体系统 |

| 智能体系统 | **Orchestra** | **68.22%** |

在RMBench-Compose上,Orchestra的平均ASL达到7.35个子任务,是对比方法HarnessVLA(2.99)的2.46倍。论文还做了一个很细的对照,把Orchestra的任务编排智能体从默认的

真实机器人实验是这篇论文里我最在意的部分,毕竟仿真环境终究偏理想化。研究团队用双臂机器人平台测了四个真实场景任务——早餐准备、水果摆盘、数字排序、垃圾桶放置,每个任务跑20次。结果显示,跟用基础π0.5策略的Orchestra版本相比,完整版把平均ASL从2.20提到2.75,提升25%。水果摆盘任务的子任务成功率从77.36%跳到91.22%,提升最明显。

失败确实出现了,可问题究竟出在哪一环

这篇论文有一处做法很让人认可:失败案例没有被绕开,作者反而单独做了一轮失败分析,把65个真实世界里的失败样本逐一追下来,再按五个环节归类统计。

统计结果有些出人意料。占比排在第一的失败原因,既不是任务编排出了差错,也不是物体没定位准,更不是进度判断失误,而是动作执行本身,占了87.7%。其余几项里,进度估计失败为6.1%,物体定位失败为4.6%,任务编排失败为1.5%,图像分割失败在这一轮统计中是0%。

这组分布说明的事挺关键:论文处理的是“管理”这一层的问题,也就是让机器人清楚该做什么、按什么次序做、到什么时候切换。至于“手够不够稳”,属于底层的运动控制,这套框架并没有碰,而这恰恰是眼下最大的瓶颈。论文举的例子都很具体:叉子放的时候偏离了预定的方格支架,抓瓶子姿势不对,抓苹果时不小心把苹果碰飞,放数字牌时牌子倒了。这些都属于手眼协调的精细活,不是靠“知道该干什么”就能解决的。

这背后其实对应着一个更大的行业现实。管理和执行是两种能力:一个出色的项目调度系统能把团队协作效率抬上去,可要是团队里每个人手上的业务能力本身有短板,调度做得再好也补不上那块缺口。Orchestra做的是前一件事;后一件事,也就是动作本身的精度,还得靠更强的底层控制模型去啃。

Q&A

Q1:Orchestra核心解决的是什么问题?

A:机器人执行多步骤指令时,容易出现顺序混乱、物体定位失效,Orchestra针对的正是这些。它的做法是把任务规划和动作生成拆成两个独立系统,让机器人在长序列任务中保持正确的操作顺序,同时持续追踪目标物体的位置变化。

Q2:跟此前的记忆增强方法Mem-0比,Orchestra的优势体现在哪?

A:RMBench基准测试里,Orchestra的平均成功率达到68.22%,Mem-0是42%,前者高出26.22个百分点。两者的核心区别在于,Orchestra靠独立的任务编排智能体和进度评估器来管理子任务切换,而不是只依赖记忆模块。

Q3:RMBench-Compose基准测试的用途是什么?

A:RMBench-Compose是论文新提出的测试基准,用来检验一件事:机器人系统只用短小的单步任务训练过之后,能不能应付长达十几个子任务的复杂组合指令。它衡量的是从单项技能到连续执行能力之间的落差。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. SpaceX星舰第15次试飞升空:飞船入轨,助推器未返场

    【TechWeb】11月14日消息,美国中部时间2026年11月13日下午,SpaceX“星舰”(Starship)第15次试飞成功升空。此次任务使用超重型助推器 B22 号和飞船 S42 号,原计划首次实现助推器与飞船双双返回发射场并由发射塔机械臂实施空中捕获回收,同时部署 26 颗第三代星链卫星。但任务并未完全按计

    来源 腾讯网
  2. 戴士钦离开英伟达:黄仁勋辞职令他格外失望

    IT之家 11 月 16 日消息,英伟达机器人学习工程师戴士钦(Darrell Dai)昨日发文,宣布将离开公司。戴士钦表示,他眼中的黄仁勋不只是英伟达 CEO,他钦佩黄仁勋投资那些一下子看不到明确前景的未来技术。在深度学习热潮到来之前,黄仁勋就已投入 CUDA,并在人工智能成为所有人关注焦点之前布局 AI 领域。这些

    来源 腾讯网
  3. 均胜电子交付高算力背包:机器人业务何时放量?

    (本文作者为 不慌实验室,钛媒体经授权发布)文 | 不慌实验室,作者|潘妍,编辑|魏樊曦随着机器人任务复杂度上升,终端机身空间越来越不够用,算力与电池的安置便成为结构性约束。于是,一个可外挂的“背包”成了供应链里的新选项。11月10日,均胜电子(600699.SH)旗下宁波超平面机器人科技公司(简称:超平面科技)正..

    来源 腾讯网
  4. 苏姿丰与李飞飞CoRL首次同台:82亿美元收购后聊了什么

    编辑|Panda「台下有谁需要算力吗?」主持人 Peter Stone 刚把学术界的算力焦虑摆上桌面,AMD 董事长兼 CEO 苏姿丰就用一句反问接了过去。台下坐着的,是一屋子做机器人学习的学生和教授,他们大概是今天全世界最缺 GPU 的一群人。这是 11 月 12 日下午,机器人学习顶会 CoRL 2026 在美国奥

    来源 腾讯网
  5. 马斯克SpaceX创造历史:「筷子夹火箭2.0」,星舰飞船首次被发射塔捕获

    机器之心编辑部今天凌晨,SpaceX 再次上演了堪称科幻电影的一幕。在经历超过 22 小时的太空飞行、绕地球飞行 14 圈后,一艘高约 52 米的巨型飞船,重新穿过大气层,飞回美国得克萨斯州的星舰基地。在距离地面不远的地方,星舰重新点燃发动机,完成最后的翻转与减速,精准进入发射塔两条巨大机械臂之间。随后,发动机关闭,.

    来源 腾讯网
  6. 勒布朗预测:5~10年内多数主要战斗将由机器人承担

    IT之家 11 月 14 日消息,由埃里克 · 特朗普(Eric Trump)投资支持机器人公司 Foundation 的联合创始人迈克 · 勒布朗(Mike LeBlanc)表示,未来 5~10 年内,全球大部分主要战斗将由机器完成。 在接受福克斯新闻数字版(Fox News Digital)采访时,勒布朗表示:“我

    来源 AI 行业观察
  7. 苹果人形机器人HALO:背Mac mini跑千问,300小时仿真数据练出91分

    颤抖吧,机器人!苹果终于要来凑热闹了。 苹果最近…布了一项名为HALO的人形机器人研究。演示视频里,一台人形机器人在陌生房间里上蹿下钻,钻桌子、挪箱子样样都行;还能趁卧室门没关严,侧着身子挤进去,最后找把椅子坐下,相当行云流水。 HALO项目官网 并且,这次是全程离线,没有遥控操作,更没有云端连接,比之前那些还依赖遥控

    来源 AI 行业观察
  8. OpenAI撤掉机器人团队:GPT-6 Astra能直接控机器人,成功率66.3%

    专门为机器人开发的模型,开始在机器人任务上输给通用模型。英伟达 10 月公布的一项仿真测试显示,通用模型 GPT-6 Astra 直接生成机器人动作,成功率达到 66.3%;使用智能体系统后,成功率进一步升至 74.8%,远超专用机器人模型的表现。理解场景、判断下一步、根据执行结果纠错,这些过去需要机器人研究者专门处理

    来源 腾讯网
  9. OpenAI撤销机器人团队:通用大模型能否直接接管机器人任务?

    通用大模型在机器人上的能力进展,正促使具身智能行业重新思考机器人“大脑”的研发路径。近日,澎湃新闻记者在与多位具身智能从业者交流中发现,GPT-6 Astra的发布成为一个重要节点,其展现出的能力让行业开始更加关注:哪些机器人任务可以直接交给通用模型,哪些仍需要专门训练?当地时间11月13日,据外媒报道,OpenAI确

    来源 腾讯网
  10. 消息称黄仁勋离职后参与遴选接班人;OpenAI再度解散独立机器人团队;格罗方德美国新晶圆厂动工 | 新闻速递

    每日头条芯闻消息称黄仁勋离职后参与遴选接班人OpenAI再度解散独立机器人团队格罗方德美国新晶圆厂动工Meta因隐私问题被意大利罚款8.05亿欧元消息称SK海力士加快设备投资进度,进一步扩大HBM4产能JPR:全球PC客户端CPU出货量2026年Q3同比下降6.5%消息称科技界预期黄仁勋将在硅谷“东山再起”,业内高管称

    来源 腾讯网
  11. 蔚建科技完成超亿元融资:建筑机器人三年订单复合增长超100%

    图源/企业 本文约2700字,建议阅读7分钟 作者丨欧雪 编辑丨原斯来 硬氪获悉,建筑机器人公司上海蔚建科技有限公司(下称“蔚建科技”)已于近期完成第五轮融资,融资金额超亿元人民币,投资方为财通资本。本轮资金将主要用于生产制造、海外市场开拓、产品和具身智能技术持续研发投入。 蔚建科技成立于2020年6月,是全球建筑机器

    来源 AI 行业观察
  12. SpaceX星舰首次被机械臂空中接住,数万亿估值叙事添关键一环

    SpaceX首次用发射塔机械臂在空中接住星舰飞船,创造航天史上轨道返回飞船塔架回收先例。Bernstein分析师认为此举是支撑SpaceX数万亿美元估值的关键一步——完全复用将大幅压低入轨成本,直接提升星链部署效率与商业天花板。摩根士丹利警示市场低估了此次任务价值,将显著降低商业复用与AI太空算力扩张的执行风险。

    来源 华尔街见闻
  13. 脑植入试验志愿者集体发声:要自主权,少保密协议

    脑机接口研究历经数十年发展,已能让瘫痪患者用思维控制机械臂、电脑光标乃至合成语音。然而,站在试验最前线的志愿者长期被保密协议束缚,难以分享真实体验。如今,他们正集体发声,要求更多研究自主权、更透明的知情同意,以及更少的NDA限制,这场关于科研伦理的讨论正在重塑神经技术的发展方向。

    来源 AI 科技快讯
  14. Beni跟拍机器人国内开卖4999元:大疆系团队打造,时速28.8km/h

    海外众筹打破机器人历史纪录的跟拍机器人,Beni,国内正式开售了。 官方定价标准版4999元,一部旗舰手机的价格。 能跑、能跳、能原地翻跟头,两只大眼睛忽闪忽闪的。 如果只是会做这些动作,它充其量也就是个昂贵的高级遥控大玩具。 最离谱的是—— 它能给你拍vlog。 跑步、滑板、带娃……管你在户外干啥,它就在后面贴地狂奔

    来源 AI 行业观察
  15. OpenAI解散独立机器人团队:具身智能并入通用模型体系

    11月13日,据外媒报道,OpenAI已解散独立机器人团队,原成员并入常规模型训练体系。内部判断认为,机器人只是通用模型的一类垂类任务,所需智能能力应在通用基础模型框架下统一解决。截至发稿,OpenAI官方尚未确认并披露相关细节。 这并非OpenAI首次调整机器人路线。2019年,其机械手解魔方项目Dactyl曾引发广

    来源 AI 开发者社区
向下滚动自动加载更多