启元机器人提出One Scan is Enough:扫一次环境,导航成功率升至85%
轻量化后训练,构筑物理AI入口。作者|田思奇编辑|王博在具身智能领域,机器人在抓取和操作上的进步更容易吸引目光。但要真正进入个人生活,机器人还必须具备可靠的自主移动能力。如何在陌生环境中理解指令并完成导航,同样是具身智能走向实际应用的关键。不久前,北京大学与启元机器人团队提出的HIL-UMI作业智能学习范式...
在具身智能这条路上,抓取和操作上的进展往往更抓眼球。可机器人要想真正走进个人生活,可靠的自主移动能力绕不过去。到了陌生环境里,怎么听懂指令、把导航走完,同样是具身智能落地的一道坎。
前不久,北京大学和启元机器人团队拿出了HIL-UMI作业智能学习范式,在具身智能圈子里引来不少讨论。这套研究让模型也参与人类示范数据的采集,操作技能学得更快,等于给作业智能的大规模后训练蹚出了一条新路。
具身导航走的也是相近的思路。大模型已经把机器人的语言理解和视觉感知拉高了一大截,但换一栋真实建筑,导航成功率照样可能掉得厉害。于是,怎么靠后训练让机器人吃透具体环境,成了新的研究切口。
上周,北京大学长聘副教授、启元机器人首席科学家董豪带队发表论文《One Scan is Enough》,给出一种基于大模型的场景后训练新范式。操作上只需拿带激光雷达的iPhone把目标环境扫一遍,系统便会自动生成导航任务,再借助重建场景的几何信息做强化后训练,目标环境里不必采集人工遥操作示范。
五处真实室内环境、200次真机测试给出了对比:没做场景适配的导航模型成功率为25%,人工示范微调后是49%,新方法则拉到85%。只扫一次环境就启动后训练,效果明显压过人工示范微调。
这项研究接着董豪团队近年的路子走,大模型导航、通用指令、自主纠错都在其列。另一边,启元9月20日开卖Q1、T1两款个人机器人,10月25日第5000台机器人下线。前沿研究和规模化产品供给一起往前推,技术与硬件两头都为启元探索物理AI入口垫了底。
1.从通用导航到自主学习,
为何非得换一套新范式?
用AI做自主导航,其实在大模型问世之前就有人研究。视觉语言导航(VLN)是其中一条常见路线:先搭仿真环境采数据、训模型,再装到实体机器人身上。
麻烦在于仿真和现实对不上,也就是Sim-to-Real问题。真机的相机型号、安装高度未必和仿真里一致,部署场地的空间布局、视觉特征也有差别,导航成功率因此掉得厉害。
大模型起来之后,又多了条路。它吃过互联网规模的数据,视觉泛化能力已经不弱,能认出的物体和场景更丰富。可大模型本身没法直接指挥机器人导航,怎么把这些知识用到机器人的感知和行动决策上,还得另想办法。
2024年,董豪团队做出DiscussNav,这是全球首个在真实世界落地的导航大模型系统,也是大模型多专家协作模式的首创。研究设了四类大模型智能体,分别管指令理解、环境感知、完成估计和动作决策,靠协商讨论一起完成真实环境下的视觉语言导航。
这套多专家讨论定行动的机制,把不同大模型的能力串了起来,机器人用通用视觉语言知识就能导航,不必为导航任务专门去训大模型。零样本导航测试和真实机器人实验里,DiscussNav都拿到了领先表现,也带动了后面零样本导航的研究。
专家智能体怎么搭,DiscussNav智能体又怎么跟多个专家智能体协商讨论,都在图里。
可能按路线走,不等于能满足实际生活里的需求。
视觉语言导航一般得给机器人喂明确步骤,像“往前走,出门右拐,走到头,左拐”。可现实里,人往往只说一句“找到我的手机”,或者“我渴了”。
碰上后一种,机器人得自个儿判断该去哪儿找水;要是找不到,还能想到果汁、水果这些替代品。按用户需求去推断导航目标,这才更接近真实的人机交互。
在这之前,不同类别的导航指令往往要分开训模型,实际场景里用户需求五花八门,很难应付。
于是董豪团队在2024年提出InstructNav,这是全球首个通用指令导航系统,视觉语言导航、寻物导航和需求驱动导航三大范式能同时支持。该工作用动态导航链路把不同类型指令的规划过程统一起来,再借多源价值地图融合环境与目标信息,生成导航动作。
InstructNav 在多种室内场景里都能听懂并执行不同类型的导航指令。同一套框架下,用户给出的不同指令它都能处理。[[保留1]]不过,大模型能理解任务,不等于每一步行动都不出错。[[保留2]]
到了 2026 年,董豪团队把研究推进到导航过程中的自主纠错。大模型即使具备泛化能力,在控制机器人连续行动时仍会冒出推理偏差,误差越积越多,最后拖累任务完成。[[保留3]]
只靠堆预训练数据来减少错误,投入很大,效果却不一定好。于是团队转向轻量而有效的导航后训练方法,让模型从错误里学,在反复尝试中提升能力,朝递归自我改进(RSI)方向走。[[保留4]]
他们提出的 CorrectNav 用的是一种叫「自纠错飞轮」的后训练范式:把模型自己跑出来的错误轨迹变成训练数据,让机器人学会怎么从错误中恢复过来。[[保留5]]
这套过程同时管住感知和动作两头:[[保留6]]
感知这一头,系统用多模态大模型去看出错位置附近的关键画面,生成地标描述和视觉问答,帮导航模型读懂周围环境;
动作这一头,则从跑偏的位置重新规划路线,教机器人怎么朝目标走回去。[[保留7]]
CorrectNav 的训练流程[[保留8]]
后训练做完,纠错能力就被内化进导航模型里。机器人能根据视觉反馈调整行动,部署时不用再额外加复杂的反思模块,也不用跑冗长的推理过程。[[保留9]]
从让大模型参与导航决策,到靠后训练学会纠错,董豪团队一步步把机器人的导航能力往外扩。可机器人要是进了一栋从没见过的楼,怎么用更低的成本完成场景适配?[[保留10]]
2.One Scan is Enough:
一次扫描,开启场景自主后训练
让经过预训练的导航大模型在千家万户中都能持续稳定地跑起来,是当下具身导航领域最棘手的难题之一。
通用导航模型对环境的理解和行动能力已有一定基础,可一旦走进陌生建筑,表现往往会打不少折扣。业界常见的适配路子是:操作员遥控机器人走一遍、把完整轨迹录下来,再拿这些人工示范数据去微调模型。
问题是,每换一个环境就得重新采一遍示范轨迹,To C 的大规模落地根本撑不住。真机运行受电池续航和人力投入两头限制,采一条导航轨迹还得实打实地走完那段时间。对要进入不同家庭的个人机器人来说,这笔成本实在太高。
针对这个瓶颈,董豪团队提出了“One Scan is Enough”,试着用一次简短的 iPhone 扫描,替掉目标场景里的人工导航示范。
采集时,研究人员只用一台配有激光雷达的 iPhone,在室内绕行一圈,就把环境的视觉和深度数据收了下来。5 处真实场景加起来共 768 平方米,单处扫描花 9 至 20 分钟,累计 62 分钟。随后系统拿 3D 高斯泼溅技术把室内视觉外观重建出来,同时提取可通行区域、障碍物这类几何信息。
经过必要的人工场景校准,Scan2Instruction 编译器就能基于重建后的环境自动生成导航训练任务:在可通行区域内挑出起点和终点,规划参考路线,再渲染出机器人沿途看到的第一视角画面,交给多模态大模型生成对应的自然语言指令。
Scan2Instruction数据生成管线
这些指令覆盖路线跟随、寻物和用户需求三类任务。机器人可能得按路线提示往前走,也可能只是被要求找某件物品,或者根据用户需求自己判断该去哪儿。五处场景就这样自动生成了1500条训练任务,操作人员不必遥控机器人逐条采集示范轨迹。
训练任务有了,接下来还得解决模型在训练中如何判断自己行动对不对的问题。
为此,团队又提出了 PRPT-KS 强化后训练算法:直接拿重建场景里的几何信息,从前进进度、避障安全和正确停止三个维度给模型行为打分,再据此对导航模型 RealNav 做后训练。整个过程不需要针对目标场景采集人工任务示范,也不需要人工偏好标注。
PRPT-KS闭环后训练流程
系统会依据机器人沿规划路径逼近目标的进度来算反馈;一旦模型预测的动作有碰撞风险,几何规划器就给出安全的替代方案,原始预测和修正结果都会被拿去继续学习。和那些要额外训练神经网络来估算行动价值的做法不同,PRPT-KS直接用环境里的几何条件计算反馈,模型因此在重建场景中反复训练,导航策略逐步得到改进。
五个真实环境、200次真机评测里,未经目标场景适配的RealNav成功率仅有25%;用人工示范做后训练,成功率升到49%;One Scan的免示范后训练把这个数字推到了85%。
团队还把测试范围扩到了扫描区域之外。同一栋楼里没被扫描过的空间,新方法的导航成功率仍有82%,人工示范微调的基线是41%。训练效果并不只停留在已扫描的路线上,还能延伸到同一建筑中未覆盖的区域。这些结果,也为具身导航的大规模后训练打开了新的可能。
整体自适应与部署管线
3.从模仿学习到自主改进:大规模后训练的下一步
在董豪看来,One Scan还有一层意义:探索具身智能往后的训练方式。他向「甲子光年」表示,后训练要解决任务成功率,而大规模后训练还得兼顾泛化性,不能让模型只适应少数专门调试过的场景。具身导航需要的技术突破,也不该停在基准成绩的提升上,得找到能持续改善模型实际表现的训练方法。
比如AlphaGo先学人类棋谱,再靠大规模自我博弈和强化学习把棋力提上去。ChatGPT同样走过了预训练、监督微调、人类反馈强化学习(RLHF)的路,人对不同回答的评价成了模型优化的依据。模仿学习给模型打下初始能力,之后的训练和反馈帮它跳出已有示范的局限。这条路挪到具身智能上,难处在于物理世界没有围棋那样清楚的胜负标准。机器人把杯子拿起来,未必说明任务完成得好;同样的动作换个角度,还可能撞上东西。人能判断一次行动妥不妥,模型却很难只靠预设的奖励规则评价所有现实情境。
眼下,不少具身任务做后训练,依然离不开人来给示范、给反馈。模型要想把自主学习能力再往上提,怎么摆脱这层依赖就是个绕不开的坎。
董豪团队里,博士生张继耀和龙宇星走了两条路:张继耀用HIL-UMI,龙宇星用One Scan,各自试了不一样的后训练办法。作业智能这块,人的示范和判断还是省不掉;导航则不同,环境里的几何信息能拿来自动生成反馈。两项研究的方向一致——把持续训练要花的人工压下来,好让后训练铺到更多任务、更多真实场景里去。
放到To C市场,这套训练方式的分量就更重了。董豪打了个比方:消费者把机器狗买回家,总不能再花一两周遥控着它认路。企业级项目有专业人员反复调试,每个家庭却各有各的空间布局、各有各的生活习惯。个人机器人得在交付之后尽快摸清环境,同时把设置和维护的开销压在消费者愿意掏的范围内。
To B项目部署相对集中,个人机器人则不然。董豪判断,后者还可能变成一个体量更大的真实世界数据入口。
各家各户的空间布局、生活习惯、用户需求都不一样。机器人在长期使用中碰上的导航失误、任务失败,还有用户反馈,只要拿到授权、处理得当,都能变成改进模型的训练材料。
这么看,轻量化后训练和To C是互相推着走的:前者让机器人用更低的成本适应不同家庭,后者有机会给大规模后训练喂进更丰富的真实场景和数据。
甲子光年智库《2026全球个人机器人行业研究报告》提出,个人机器人正从展示单项能力,转向融入日常生活。家庭不是结构化的产线,任务随时可能被打断,用户发指令也未必按标准方式来。衡量产品价值,设置、维护和人工接管的成本都得算进去。
《2026全球个人机器人行业研究报告》,图片来源:甲子光年智库
机器人要从单项功能可用,走到长期值得拥有,就得在不停变化的生活环境里保持可靠。每碰上一种新情况都要靠专业人员重新采数据、重新训模型,个人机器人就很难铺开。
启元的个人机器人已经攒下了一些真实使用经验。公司披露的数据显示,部分已收货用户日均使用超过1小时,重度用户超过3小时,日均有效交互超过150次。10月29日,启元与腾讯云宣布达成战略合作,接入WorkBuddy,探索用自然语言理解和任务编排能力开发更多机器人技能,把个人机器人的应用场景再往外拓。
2026年,具身导航研究正从提升通用模型能力,进一步转向探索可规模化的后训练方法。轻量化后训练有望压低机器人适应不同家庭的成本;To C应用越铺越开,真实使用中攒下的任务和反馈,在获得用户授权并经过有效处理后,也可能为模型持续学习提供新的数据来源。董豪强调的轻量化后训练与To C市场相互促进,说的正是这层关系。
这些真实世界的经验若能持续转化成模型能力,个人机器人就有望成为物理AI的重要入口,推动AI理解和适应真实世界的能力再上一个台阶。
以上图片出处未标注为启元机器人,封面图由AI生成。