机器人上菜发现是肉该不该端?港科大等提出CarryOn双循环架构
设想一个场景。你坐在家里,跟机器人说了一句"帮我上菜"。没有说明是什么菜,没有说明你的饮食偏好,就这么简单一句话。机器人走到灶台边,掀开一个盖子,发现下面是一块肉。它会怎么做?如果这个机器人只是一个训练有素的"动作执行者",它大概率会直接把肉端给你,因为指令里就是"上菜",而盖子底下确实有菜。但如果你上个月...
设想一下:你坐在家里,对机器人只说了一句"帮我上菜"。没讲是什么菜,也没提自己的饮食偏好,就这么一句话。
机器人走到灶台边,掀开盖子,底下是一块肉。接下来它会怎么处理?
假如这台机器人只是个训练有素的"动作执行者",它多半会把肉直接端过来——指令是"上菜",盖子下面也确实有菜。可要是你上个月刚告诉过它你吃素,它该做的则是拒绝端这盘菜,还得把"锅里是胡萝卜"那条过时的记忆改成"锅里是肉"。
这里藏着一个常被忽略的问题。如今能干活的机器人越来越聪明,搬东西、叠衣服都不在话下,底下那个负责"看懂指令、做出动作"的AI模型已经能完成不少任务。这个模型叫VLA,全称视觉-语言-动作模型,说白了就是能看懂画面、听懂人话、再指挥机械臂动起来的大脑。
但手聪明,不代表判断力聪明。机器人可能很擅长"抓取物体""绕开障碍",却压根不知道你今天心情不好不想吃辣,也不知道你上周说过自己对海鲜过敏。更麻烦的是:就算它知道你的偏好,执行时手一抖把东西掉了,接下来怎么办?呆站在原地,还是乱抓一通、可能伤到周围的东西?
香港科技大学、香港中文大学联合
这篇论文最打动人的地方,是它没去卷模型本身有多智能,而是看到了一个更朴素的事实:机器人缺的不是更聪明的手,而是一个靠谱的"大脑外挂"——知道你是谁、记得你说过什么、出错时还能兜底的系统。
核心问题:聪明的手,糊涂的脑
在深入
VLA(Vision-Language-Action Model):一类能同时处理视觉画面、语言指令,并直接输出机械臂动作的AI模型,是目前机器人操作领域的主流技术路线。
研究团队做了一个很直接的压力测试。他们拿了一个号称经过"安全微调"的
要是换成没做安全微调的原始模型,这个数字更难看,达到71.1%。换句话说,哪怕你花大价钱做了安全训练,机器人在真实环境里仍有超过一半的概率撞上不该碰的东西。这不能怪模型不努力,问题在于VLA这类端到端模型天生缺少对物理约束的显式理解——它学的是"看到这个场景该怎么动",而不是"这个动作会不会撞到旁边那个花瓶"。
另一个测试更扎心。研究团队在仿真环境
这反映出一个很现实的问题:这些VLA模型在"标准剧本"里演得挺好,可现实世界只要加一点点意外,它就彻底懵了。它不知道"计划之外"的情况该怎么应对,因为从来没人教过它"失败之后怎么办"。
研究团队想解决的就是两件事。其一,机器人得知道"为谁服务、服务什么",这要靠记忆和个性化的判断力。其二,机器人得在物理世界里"靠谱地执行",这需要主动防护,以及失败后的自我修复能力。
双循环架构:给机器人装一个"管家"和一个"保镖"
CarryOn的核心设计思路,是在冻结不动的VLA模型外面,套上两个循环系统。
一个叫
这个架构的巧妙之处在于,完全不用改动底层VLA模型的参数。VLA还是那个只会"看图做动作"的工具,只不过外面包了一层负责思考和纠错的系统。
打个比方:你雇了一个身手很好但有点一根筋的保安,他力气大、反应快,各种体力活都能干,可你不能指望他自己判断"这个访客该不该放进来"。于是你给他配了两个搭档——一个管家负责告诉他"今天谁要来、这人有什么特殊要求",一个安全顾问实时盯着他的动作,一旦发现要撞到人就立刻拦住,撞完了还得帮他把局面收拾好,再让他继续干活。保安本身一点没变,但整个团队的表现会完全不一样。
缺了这两个搭档呢?保安照样能干,只不过每条指令都会被机械照办:你上回说过不吃辣,他记不住,撞了东西也不会想着补救,只会一路硬撑下去,再不然就彻底僵在那儿。
规划循环
规划循环要解决的核心问题是:机器人怎么在不被反复告知的前提下,记住关于你的事,同时记住环境里发生了什么变化。
这里引入了两种记忆。一种叫
用户记忆
场景记忆
光有记忆还不够,真正的难点在于"什么时候该相信记忆,什么时候该相信眼前看到的"。
研究团队为此设计了一套规则。对用户记忆,系统会区分"这是一次性的要求"还是"这是长期偏好"。比如用户说"今天不想吃肉",这是临时的,不会写入长期记忆;但用户如果说"我从今以后不吃肉了",那就是持久偏好,会被记下来。系统靠一个叫做"
对场景记忆,规则更直接:一旦机器人实际观察到的东西和记忆里记录的对不上,比如记忆说盖子底下是胡萝卜,掀开一看却是肉,系统就必须在下一次规划里强制写入一条更新记录,否则这个计划会被验证器打回去重新生成。这样一来,机器人就不会一直活在过时的认知里。
个性化服务能不能持续下去,靠的就是这套记忆设计。没有它,每轮对话都从零开始,用户得反复交代自己的要求,机器人也无从判断上一回观察到的情况眼下还成不成立。
研究团队用真实机器人跑了一系列实验。做三明治的测试里,系统先被告知用户的饮食偏好,之后偏好又被改掉,它得跟着做出正确反应。结果是偏好更新后,系统仍能以83.3%(20/24)的准确率调对三明治配料,比如从素食版本换成含肉版本。另一项测试是“根据活动打包行李”,系统要把用户居住地的天气(联网查询得来)、活动安排(跑步、健身、逛公园)和个人习惯捏到一起,决定带伞还是带帽子,准确率达到100%(16/16),说明多个信息源能被它融合起来做出合理判断。
还有个测试叫“记忆修正”,挺有意思。团队故意把记忆里记的物品位置调包,看机器人能不能靠新观察发现矛盾、改掉记忆,并在后续请求里用上修正后的信息。文字查询下记忆修正成功率为76/88,图片查询下是77/88;后续依据修正记忆做出正确判断的比例分别为83/88和85/88。这套记忆系统并非一次写入就永久生效的黑盒子,新证据来了,它会不断自我纠错。
执行循环
规划循环管的是“该做什么”,执行循环管的是“做的时候和做完之后怎么办”。
执行这块拆成两个子系统。先看防护盾:VLA每生成一串动作指令,它都不直接放行,而是先在“脑子里”把这些动作模拟一遍,算出机械臂和所抓物体会移动到哪里,再看这条预测轨迹会不会撞上不该碰的东西。
这里有个细节值得琢磨。场景里的东西不会被一律当成障碍物——抓取和放置本来就要接触目标物体和目的地,全算障碍的话机器人就没法干活了。系统因此先用一个视觉模型认出“哪些是允许接触的目标物、支撑面和目的地”,剩下的才归入障碍物。
这有点像开车用的自适应巡航。它不会把前方所有车辆都当作要紧急刹车的威胁,而是持续算“按现在的车速和前车距离,还有多久会追尾”,真正逼近危险阈值才介入。要是看到前面有车就一律急刹,车根本没法正常开。防护盾同理,机械臂靠近并接触目标物体是允许的,它只拦截那些会撞到“不该碰”区域的动作。
拦截机制具体是这样:系统计算接下来几步动作执行后,机械臂(或手里抓着的物体)与障碍物之间的最小距离。某一步这个距离掉到阈值以下,就只放行危险点之前的动作,后面全部砍掉;如果一上来就危险,系统直接让机械臂先往上往后撤,重新评估周围环境再决定下一步。
这套防护盾在更难得的地方在于,换不同的VLA模型骨架它照样有效,研究团队还测试了
再说被动恢复,管的是“已经发生的失败”,比如抓着的物体掉了,或者被外部干扰碰掉了。
系统的核心组件叫
恢复技能库
基础版恢复技能走四步:观察、重新定位、验证、继续。先把机械臂挪到观察位置重新找到目标物体,生成抓取候选方案并执行抓取,抬起来检查抓没抓稳(看夹爪开合宽度),稳了就带到目的地附近再确认一次还抓着,确认无误后让VLA从这个位置接着做原本的任务。
流程听着简单,解决的问题却不小。没有这套恢复机制,物体一掉,机器人要么彻底卡死,要么继续做错误的后续动作(比如对着空夹爪做“放置”)。有了它,至少有机会把局面拉回正轨。
不过基础版恢复技能的成功率不算高。仿真测试里面对12厘米位移的干扰,只用基础恢复技能,成功率是29%(58/200)。光有“兜底方案”还不够,兜底方案本身也得不断优化。
反思式迭代:让失败经验变成更聪明的补救策略
这是整篇论文里设计得最精巧的部分。团队没有停在“有一个恢复技能就够了”,而是引入了一套离线反思(Offline Reflection):在两轮正式评测之间,系统回顾本轮没能成功恢复的失败案例,分析原因并提出改进方案。这个过程不用实时在线跑,所以叫“离线”。
系统维护两种“记忆”,一种叫每一轮评测结束后,反思模块最多挑三个失败案例,结合失败时的画面和抓取阶段的测量数据,分析问题出在哪,再提出修改建议。建议要过一道审核(格式不对或数值超出合理范围的会被拒),通过审核的修改被整合进下一个版本的恢复技能,存进技能库供后续调用。
这套机制最打动人的地方在于,它把“试错”变得结构化、可追溯、可积累,而不是每次失败都从零开始猜。
团队给了一个很具体的案例,是一瓶烧烤酱的恢复失败分析。第一轮用空白记忆测试,20次里只成功3次,原因是抓取高度定在66.0毫米,机械臂下降时卡在109到113毫米的位置,根本够不到。反思模块看了失败画面后发现,算法选中那个区域画面里显示的其实是番茄酱瓶子,不是目标的烧烤酱瓶子,于是建议启用视觉语言模型重新确认目标身份,同时把抓取高度调到110毫米。
第二轮测下来,17次里成功了3次(这里说的是本轮独立测试的失败数,累计成功率一直在往上走)。这回下降高度的事解决了,可新毛病又冒出来:东西抓起来之后,常常在往上提的过程中滑掉。反思模块这次的结论是目标身份识别没毛病,问题出在抓取高度还得再调,于是建议改成105毫米。
到第三轮,14次里成了11次。整个任务的累计完成率从3/20一路爬到了17/20。
这个案例让我想到学骑车的经历。头一回摔,是车把没扶稳;第二回摔,是刹车捏得太狠。每次摔跤教给你的东西都不一样。要是没人帮你复盘到底哪一步出了岔子,你可能就一直在原地重复同一种错。CarryOn的反思机制,本质上就是替机器人干这件复盘的事,只不过复盘的对象换成了抓取高度这类具体的控制参数。
放到更大规模的仿真测试里,这套迭代机制同样管用。200个LIBERO任务、叠加12厘米位移干扰,只用基础恢复技能时累计成功率是29.0%;反思改进一轮,跳到70.5%;再反思一轮,达到80.0%。
有个对比值得单拎出来说。研究团队另外测了两个基线方法。其中一个叫Harness VLA,思路一样是给冻结的VLA套一层管理层,但没配这套反思迭代,累计成功率50.5%——比CarryOn没反思的29%高,可跟CarryOn反思两轮后的80%比,差得远。
算力账更关键。CarryOn做两轮反思一共花掉41109个API token,Harness VLA那边消耗了3829605个,差了近百倍。也就是说,CarryOn的效果不是靠堆算力硬砸出来的,是靠结构化的反思让每次试错都更值钱。
还有一个基准专门测“自然失败状态恢复”,结果同样在这一块给出。
真实机器人上的综合验证
仿真能说明方法有效,但真机上的表现才算最终考验。
研究团队在真实机械臂上做了测试
结果是这样的:胡萝卜那一轮,机器人照着场景记忆掀开锅盖,开始搬运时防护盾顺利绕开了电饭煲这个障碍。实验人员故意把胡萝卜从机械臂上打掉,模拟抓取失败,判官检测到失败后触发恢复流程,重新把胡萝卜抓起来,再把控制权交回VLA,完成最后的放置。
换成肉的那一轮,机器人掀开锅盖发现实际情况跟记忆里记的胡萝卜对不上,马上用新观察更新了场景记忆,随后依据用户的素食偏好,直接把这个端菜的请求拒了。
这组对照把CarryOn的价值摆得很清楚。同样是“任务中断”,胡萝卜掉了属于任务本身没问题、执行出了意外,系统的反应是修好接着干;锅里是肉则属于任务本身就不该做,系统的反应是停下来拒绝。机器人要是分不清这两种,结果只会两头糟:合理的中断被它当成任务失败直接放弃,本可以修的小意外就白扔了;不合理的任务它又硬着头皮做完,不该干的事也干了。
能把“物理层面的失败”和“决策层面的不合理”分开,正是CarryOn这套双循环架构想解决的核心矛盾。
论文里另外两组真机测试也值得一说。一组是“隐藏食材检索”:让机器人在一堆带盖容器里找出指定食材,看场景记忆能不能有效指导搜索、少走弯路。先写入记忆再检索的条件下,准确率100%(12/12);完全没有记忆、靠一个个开盖摸索时,准确率是80%(8/10)。
另一组测的是
这个结果让我想到一个挺朴素的生活经验。新人刚搬进公司,每回找会议室都得四处问人;干了三年的老员工,听见“去B座三楼”几个字抬脚就走。记忆带来的不只是少犯错,还有少费劲。
写在后面
整篇论文读下来,最打动我的不是哪个具体的技术细节,而是研究团队挑的这个切入角度。
这几年机器人操作领域的竞赛,多数团队都在卷VLA模型本身能不能更聪明、训练数据能不能更大、动作预测能不能更准。CarryOn走的是另一条路:VLA先别动,给它配一套“管理系统”就够了。
这个思路的价值不在技术多前沿,而在于它认了一个现实:端到端的大模型再聪明,也很难同时扛住“长期记忆的个性化判断”和“短期执行的实时纠错”这两种完全不同的能力需求。前者要的是跨时间、跨对话的信息整合,后者要的是毫秒级的物理反应速度。硬塞进同一个模型里训练,大概率互相打架。拆成外挂的两个循环,反倒让每一部分都能做得更专精。
论文里有个数据我反复看了好几遍:安全微调过的VLA模型,违规率依然高达52.6%。这个数字打破了我原本的预设——我以为“安全微调”这种针对性训练差不多能把问题解决掉,结果发现哪怕专门训练过,端到端模型还是很难把“物理世界的硬约束”内化成稳定的行为习惯。这也从侧面说明,单纯堆训练数据未必是解决机器人安全问题的最优路径,显式的几何约束检查,比如CarryOn的防护盾,依然有它替代不了的价值。
那个烧烤酱瓶子的反思案例,我同样觉得挺有嚼头。它亮出来的并非什么大突破,而是一套挺朴素的工程思路:让系统讲清自己为何出错,比指望它从不出错更现实,也更长久。
论文也留了些没展开的问题。比如恢复技能的经验能不能跨任务迁移——今天学会“抓取烧烤酱瓶子”,明天能不能帮上“抓取洗发水瓶子”的忙?论文里说这是未来要探索的方向,目前还没有答案。再一个是主动防护和任务完成度之间怎么平衡:防护盾拦得太保守,机器人可能什么都不敢干;拦得太宽松,安全性又打折扣。这个度目前看还是靠经验设定的阈值,不是理论上的最优解。
如果有一天你家里真有个会做饭、会端菜的机器人,让你放心的多半不是它那双更聪明的“手”,而是它记得你上次说过不吃辣,也记得东西掉了该怎么捡起来再端给你。
Q&A
CarryOn究竟是什么?这套机器人辅助系统由香港科技大学、香港中文大学和SmartMore联合研发。它并不改动已经训练好的VLA模型本身,而是在外面套上一层双循环管理架构,任务判断交由它做个性化处理,物理执行的安全也归它管。机器人因此既能记住用户偏好,又能在出错后自我修复。
安全性上能提升多少?在LIBERO-Safety基准测试中,一个经过安全微调的VLA模型原本违规率是52.6%,加上CarryOn的
抓取失败之后,CarryOn怎么帮机器人恢复?它会先让VLA暂停,调用恢复技能重新定位并抓取物体,确认抓稳了再让VLA接着完成任务。基础版成功率约29%,经过两轮基于失败案例的反思迭代后,成功率能提升到80%。