启元机器人提出One Scan is Enough:扫一次环境,导航成功率升至85%

资讯 腾讯网 作者:腾讯网 全文 5126 字 · 约 13 分钟读完 分类机器人大模型

轻量化后训练,构筑物理AI入口。作者|田思奇编辑|王博在具身智能领域,机器人在抓取和操作上的进步更容易吸引目光。但要真正进入个人生活,机器人还必须具备可靠的自主移动能力。如何在陌生环境中理解指令并完成导航,同样是具身智能走向实际应用的关键。不久前,北京大学与启元机器人团队提出的HIL-UMI作业智能学习范式...

所属频道 模型发布机器人与具身智能
轻量化后训练,构筑物理AI入口。



在具身智能这条路上,抓取和操作上的进展往往更抓眼球。可机器人要想真正走进个人生活,可靠的自主移动能力绕不过去。到了陌生环境里,怎么听懂指令、把导航走完,同样是具身智能落地的一道坎。


前不久,北京大学和启元机器人团队拿出了HIL-UMI作业智能学习范式,在具身智能圈子里引来不少讨论。这套研究让模型也参与人类示范数据的采集,操作技能学得更快,等于给作业智能的大规模后训练蹚出了一条新路。


具身导航走的也是相近的思路。大模型已经把机器人的语言理解和视觉感知拉高了一大截,但换一栋真实建筑,导航成功率照样可能掉得厉害。于是,怎么靠后训练让机器人吃透具体环境,成了新的研究切口。


上周,北京大学长聘副教授、启元机器人首席科学家董豪带队发表论文《One Scan is Enough》,给出一种基于大模型的场景后训练新范式。操作上只需拿带激光雷达的iPhone把目标环境扫一遍,系统便会自动生成导航任务,再借助重建场景的几何信息做强化后训练,目标环境里不必采集人工遥操作示范。


五处真实室内环境、200次真机测试给出了对比:没做场景适配的导航模型成功率为25%,人工示范微调后是49%,新方法则拉到85%。只扫一次环境就启动后训练,效果明显压过人工示范微调。


这项研究接着董豪团队近年的路子走,大模型导航、通用指令、自主纠错都在其列。另一边,启元9月20日开卖Q1、T1两款个人机器人,10月25日第5000台机器人下线。前沿研究和规模化产品供给一起往前推,技术与硬件两头都为启元探索物理AI入口垫了底。




1.从通用导航到自主学习,

为何非得换一套新范式?


用AI做自主导航,其实在大模型问世之前就有人研究。视觉语言导航(VLN)是其中一条常见路线:先搭仿真环境采数据、训模型,再装到实体机器人身上。


麻烦在于仿真和现实对不上,也就是Sim-to-Real问题。真机的相机型号、安装高度未必和仿真里一致,部署场地的空间布局、视觉特征也有差别,导航成功率因此掉得厉害。


大模型起来之后,又多了条路。它吃过互联网规模的数据,视觉泛化能力已经不弱,能认出的物体和场景更丰富。可大模型本身没法直接指挥机器人导航,怎么把这些知识用到机器人的感知和行动决策上,还得另想办法。


2024年,董豪团队做出DiscussNav,这是全球首个在真实世界落地的导航大模型系统,也是大模型多专家协作模式的首创。研究设了四类大模型智能体,分别管指令理解、环境感知、完成估计和动作决策,靠协商讨论一起完成真实环境下的视觉语言导航。


这套多专家讨论定行动的机制,把不同大模型的能力串了起来,机器人用通用视觉语言知识就能导航,不必为导航任务专门去训大模型。零样本导航测试和真实机器人实验里,DiscussNav都拿到了领先表现,也带动了后面零样本导航的研究。


专家智能体怎么搭,DiscussNav智能体又怎么跟多个专家智能体协商讨论,都在图里。


可能按路线走,不等于能满足实际生活里的需求。


视觉语言导航一般得给机器人喂明确步骤,像“往前走,出门右拐,走到头,左拐”。可现实里,人往往只说一句“找到我的手机”,或者“我渴了”。


碰上后一种,机器人得自个儿判断该去哪儿找水;要是找不到,还能想到果汁、水果这些替代品。按用户需求去推断导航目标,这才更接近真实的人机交互。


在这之前,不同类别的导航指令往往要分开训模型,实际场景里用户需求五花八门,很难应付。


于是董豪团队在2024年提出InstructNav,这是全球首个通用指令导航系统,视觉语言导航、寻物导航和需求驱动导航三大范式能同时支持。该工作用动态导航链路把不同类型指令的规划过程统一起来,再借多源价值地图融合环境与目标信息,生成导航动作。


InstructNav 在多种室内场景里都能听懂并执行不同类型的导航指令。同一套框架下,用户给出的不同指令它都能处理。[[保留1]]不过,大模型能理解任务,不等于每一步行动都不出错。[[保留2]]



到了 2026 年,董豪团队把研究推进到导航过程中的自主纠错。大模型即使具备泛化能力,在控制机器人连续行动时仍会冒出推理偏差,误差越积越多,最后拖累任务完成。[[保留3]]


只靠堆预训练数据来减少错误,投入很大,效果却不一定好。于是团队转向轻量而有效的导航后训练方法,让模型从错误里学,在反复尝试中提升能力,朝递归自我改进(RSI)方向走。[[保留4]]


他们提出的 CorrectNav 用的是一种叫「自纠错飞轮」的后训练范式:把模型自己跑出来的错误轨迹变成训练数据,让机器人学会怎么从错误中恢复过来。[[保留5]]


这套过程同时管住感知和动作两头:[[保留6]]


感知这一头,系统用多模态大模型去看出错位置附近的关键画面,生成地标描述和视觉问答,帮导航模型读懂周围环境;

动作这一头,则从跑偏的位置重新规划路线,教机器人怎么朝目标走回去。[[保留7]]


CorrectNav 的训练流程[[保留8]]


后训练做完,纠错能力就被内化进导航模型里。机器人能根据视觉反馈调整行动,部署时不用再额外加复杂的反思模块,也不用跑冗长的推理过程。[[保留9]]


从让大模型参与导航决策,到靠后训练学会纠错,董豪团队一步步把机器人的导航能力往外扩。可机器人要是进了一栋从没见过的楼,怎么用更低的成本完成场景适配?[[保留10]]




2.One Scan is Enough:

一次扫描,开启场景自主后训练


让经过预训练的导航大模型在千家万户中都能持续稳定地跑起来,是当下具身导航领域最棘手的难题之一。


通用导航模型对环境的理解和行动能力已有一定基础,可一旦走进陌生建筑,表现往往会打不少折扣。业界常见的适配路子是:操作员遥控机器人走一遍、把完整轨迹录下来,再拿这些人工示范数据去微调模型。


问题是,每换一个环境就得重新采一遍示范轨迹,To C 的大规模落地根本撑不住。真机运行受电池续航和人力投入两头限制,采一条导航轨迹还得实打实地走完那段时间。对要进入不同家庭的个人机器人来说,这笔成本实在太高。


针对这个瓶颈,董豪团队提出了“One Scan is Enough”,试着用一次简短的 iPhone 扫描,替掉目标场景里的人工导航示范。


采集时,研究人员只用一台配有激光雷达的 iPhone,在室内绕行一圈,就把环境的视觉和深度数据收了下来。5 处真实场景加起来共 768 平方米,单处扫描花 9 至 20 分钟,累计 62 分钟。随后系统拿 3D 高斯泼溅技术把室内视觉外观重建出来,同时提取可通行区域、障碍物这类几何信息。


经过必要的人工场景校准,Scan2Instruction 编译器就能基于重建后的环境自动生成导航训练任务:在可通行区域内挑出起点和终点,规划参考路线,再渲染出机器人沿途看到的第一视角画面,交给多模态大模型生成对应的自然语言指令。


Scan2Instruction数据生成管线


这些指令覆盖路线跟随、寻物和用户需求三类任务。机器人可能得按路线提示往前走,也可能只是被要求找某件物品,或者根据用户需求自己判断该去哪儿。五处场景就这样自动生成了1500条训练任务,操作人员不必遥控机器人逐条采集示范轨迹。


训练任务有了,接下来还得解决模型在训练中如何判断自己行动对不对的问题。


为此,团队又提出了 PRPT-KS 强化后训练算法:直接拿重建场景里的几何信息,从前进进度、避障安全和正确停止三个维度给模型行为打分,再据此对导航模型 RealNav 做后训练。整个过程不需要针对目标场景采集人工任务示范,也不需要人工偏好标注。


PRPT-KS闭环后训练流程


系统会依据机器人沿规划路径逼近目标的进度来算反馈;一旦模型预测的动作有碰撞风险,几何规划器就给出安全的替代方案,原始预测和修正结果都会被拿去继续学习。和那些要额外训练神经网络来估算行动价值的做法不同,PRPT-KS直接用环境里的几何条件计算反馈,模型因此在重建场景中反复训练,导航策略逐步得到改进。



五个真实环境、200次真机评测里,未经目标场景适配的RealNav成功率仅有25%;用人工示范做后训练,成功率升到49%;One Scan的免示范后训练把这个数字推到了85%。


团队还把测试范围扩到了扫描区域之外。同一栋楼里没被扫描过的空间,新方法的导航成功率仍有82%,人工示范微调的基线是41%。训练效果并不只停留在已扫描的路线上,还能延伸到同一建筑中未覆盖的区域。这些结果,也为具身导航的大规模后训练打开了新的可能。


整体自适应与部署管线




3.从模仿学习到自主改进:大规模后训练的下一步


在董豪看来,One Scan还有一层意义:探索具身智能往后的训练方式。他向「甲子光年」表示,后训练要解决任务成功率,而大规模后训练还得兼顾泛化性,不能让模型只适应少数专门调试过的场景。具身导航需要的技术突破,也不该停在基准成绩的提升上,得找到能持续改善模型实际表现的训练方法。



比如AlphaGo先学人类棋谱,再靠大规模自我博弈和强化学习把棋力提上去。ChatGPT同样走过了预训练、监督微调、人类反馈强化学习(RLHF)的路,人对不同回答的评价成了模型优化的依据。模仿学习给模型打下初始能力,之后的训练和反馈帮它跳出已有示范的局限。这条路挪到具身智能上,难处在于物理世界没有围棋那样清楚的胜负标准。机器人把杯子拿起来,未必说明任务完成得好;同样的动作换个角度,还可能撞上东西。人能判断一次行动妥不妥,模型却很难只靠预设的奖励规则评价所有现实情境。



眼下,不少具身任务做后训练,依然离不开人来给示范、给反馈。模型要想把自主学习能力再往上提,怎么摆脱这层依赖就是个绕不开的坎。


董豪团队里,博士生张继耀和龙宇星走了两条路:张继耀用HIL-UMI,龙宇星用One Scan,各自试了不一样的后训练办法。作业智能这块,人的示范和判断还是省不掉;导航则不同,环境里的几何信息能拿来自动生成反馈。两项研究的方向一致——把持续训练要花的人工压下来,好让后训练铺到更多任务、更多真实场景里去。


放到To C市场,这套训练方式的分量就更重了。董豪打了个比方:消费者把机器狗买回家,总不能再花一两周遥控着它认路。企业级项目有专业人员反复调试,每个家庭却各有各的空间布局、各有各的生活习惯。个人机器人得在交付之后尽快摸清环境,同时把设置和维护的开销压在消费者愿意掏的范围内。


To B项目部署相对集中,个人机器人则不然。董豪判断,后者还可能变成一个体量更大的真实世界数据入口。


各家各户的空间布局、生活习惯、用户需求都不一样。机器人在长期使用中碰上的导航失误、任务失败,还有用户反馈,只要拿到授权、处理得当,都能变成改进模型的训练材料。


这么看,轻量化后训练和To C是互相推着走的:前者让机器人用更低的成本适应不同家庭,后者有机会给大规模后训练喂进更丰富的真实场景和数据。


甲子光年智库《2026全球个人机器人行业研究报告》提出,个人机器人正从展示单项能力,转向融入日常生活。家庭不是结构化的产线,任务随时可能被打断,用户发指令也未必按标准方式来。衡量产品价值,设置、维护和人工接管的成本都得算进去。


《2026全球个人机器人行业研究报告》,图片来源:甲子光年智库


机器人要从单项功能可用,走到长期值得拥有,就得在不停变化的生活环境里保持可靠。每碰上一种新情况都要靠专业人员重新采数据、重新训模型,个人机器人就很难铺开。


启元的个人机器人已经攒下了一些真实使用经验。公司披露的数据显示,部分已收货用户日均使用超过1小时,重度用户超过3小时,日均有效交互超过150次。10月29日,启元与腾讯云宣布达成战略合作,接入WorkBuddy,探索用自然语言理解和任务编排能力开发更多机器人技能,把个人机器人的应用场景再往外拓。


2026年,具身导航研究正从提升通用模型能力,进一步转向探索可规模化的后训练方法。轻量化后训练有望压低机器人适应不同家庭的成本;To C应用越铺越开,真实使用中攒下的任务和反馈,在获得用户授权并经过有效处理后,也可能为模型持续学习提供新的数据来源。董豪强调的轻量化后训练与To C市场相互促进,说的正是这层关系。


这些真实世界的经验若能持续转化成模型能力,个人机器人就有望成为物理AI的重要入口,推动AI理解和适应真实世界的能力再上一个台阶。


以上图片出处未标注为启元机器人,封面图由AI生成。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. AI带火产业投资,美企全球最大系统设备工厂落子黄埔

    南方财经记者朱治宣 在粤港澳大湾区全球招商大会召开前夕,美国AI产业链巨头继续加码投资广州。 尽管当前科技板块整体震荡,但国际供应链巨头依然在用真金白银加注高端产能。AI算力的热度,正在从大模型、机器人等终端赛道,持续传导至上游硬件制造的各个环节。 10月29日,MKS万机集团宣布,其位于广州开发区、黄埔区的安美...

    来源 腾讯网
  2. ChatGPT规划徒步路线,可能把人带进险境

    把路线规划交给AI,听起来省事,却可能让人放弃独立思考。聊天机器人会编出并不存在的步道,也会低估山里的风险。当这样的错误发生在远离公路的荒野时,后果可能致命。本文梳理WIRED的报道,探讨大模型为何读不懂真实的山野,以及徒步者该如何与AI协作,而不被它误导。

    来源 AI 行业观察
  3. 细胞壁智能CyboPal ONE完成战略融资:TCL实业战投、深创投入局

    界面新闻记者 | 陆柯言 界面新闻编辑 | 文姝琪 将27英寸4K主屏、六自由度机械臂、端侧感知和软件交互整合在一起,做到会随人动、能听指令——一家清华系公司造出了一个硬件新品类:桌面大屏机器人CyboPal ONE。CyboPal ONE 图片来源:细胞壁10月27日,细胞壁智能(CyboPal)完成新一轮战略融资,

    来源 腾讯网
  4. 15个模型实测多智能体冲突:Opus 5通过率25.2%居首,无一破30%

    新智元报道 现在的AI Agent已经越来越多地被组队部署到写代码、云运维、财务对账和企业审批等真实工作流中。但现有的Computer-Use基准(如OSWorld、WebArena)几乎都默认了一个理想前提:环境信息永远一致,所有队友Agent都百分之百靠谱。真实场景显然不是这样。在多Agent协作中,子Agent经

    来源 腾讯网
  5. AI陪伴付费调查:年轻人花钱买到了什么

    月卡十几元,记忆包几十元,一次充值上百元,通用大模型会员一档几百元……在AI陪伴这条赛道上,情绪价值正被拆分成一个个具体的付费点。 这类产品自诞生起就伴随着争议,被指游走在风险边缘,诱导未成年人建立不良恋爱观、内容擦边。但争议之外,它也确实承接了一部分年轻人的倾诉需求,成为他们排解压力、整理情绪的出口。如今,行业正在走

    来源 AI 行业观察
  6. 快手可灵AI融资198亿交割完成:阿里腾讯百度均在股东名单

    10月30日,快手在港交所发布公告,宣布北京可灵增资协议项下的所有条件均已达成,所有投资者已按照增资协议足额缴纳增资款,股份购买已交割完成。公告披露,交割完成后,全体投资者已缴纳的出资总额约为人民币198.0184亿元。据悉,本次增资过程中部分投资者的认购安排发生调整。快手2026年第二季度财报显示,可灵AI单季营业收

    来源 TechWeb
  7. 快手可灵AI完成198亿融资:阿里腾讯百度入局,创视频大模型纪录

    10月30日,快手在港交所发布公告,宣布北京可灵增资协议项下的所有条件均已达成,所有投资者已按照增资协议足额缴纳增资款,股份购买已交割完成。公告披露,交割完成后,全体投资者已缴纳的出资总额约为人民币198.0184亿元。据悉,本次增资过程中部分投资者的认购安排发生调整。快手2026年第二季度财报显示,可灵AI单季营业收

    来源 TechWeb
  8. 李飞飞三度“挖坑”:AMD 82亿美元买下World Labs,这次她要自己答题

    82 亿美元,已经为整个世界模型赛道提供了价值锚点。 作者丨幸丽娟 编辑丨岑 峰 82亿美元,全股票收购李飞飞创立的 World Labs。 这是 AMD 史上第二大收购,仅次于 2022 年以约 500 亿美元拿下赛灵思。 赛灵思是30多年的老牌芯片公司,而 World Labs,仅仅成立两年。 这一消息发出后,圈内

    来源 AI 行业观察
  9. 苹果华为小米齐发力智能家居,三类芯片成关键

    智能音箱能够听懂指令,空调可以远程控制,摄像头能够识别人和宠物,扫地机器人也已经具备自主规划路线的能力。但对于普通家庭而言,真正意义上的全屋智能依然没有完全普及。不同品牌的设备各自拥有独立的控制系统....

    来源 腾讯网
  10. Fysiverse-UniWAM:不靠大规模预训练,24项真机测试拿下双第一

    编辑|陈陈机器人终于不只是知道往哪走,还知道该在哪里停、以什么方向面对目标,甚至停稳之后,就能直接上手干活。听起来理所当然,但对机器人来说,这恰恰是一道长期存在的难题。比如,让机器人收拾桌上的杯子。能走到桌边,不代表就能拿起杯子。底盘停得稍远一点,机械臂可能够不着;朝向稍有偏差,后续抓取也可能受到影...

    来源 腾讯网
  11. Meta联合傅里叶造人形机器人Max:二代已启动,暂无开售计划

    Meta与中国机器人公司傅里叶联合开发人形机器人原型“Max”,并启动第二代研发,计划将消费级AI智能体Muse延伸至家庭场景。新原型将升级操控与感知能力,Meta同步在上海、深圳招募量产人才,但目前暂无销售计划,消费级人形机器人布局仍处研发阶段。

    来源 华尔街见闻
  12. Meta联手傅利叶:3个月造出人形机器人Max,成Muse物理化身

    IT之家 11 月 1 日消息,据 The Information 昨天报道,Meta 最近与中国企业傅利叶(Fourier)合作,打造一款名为 Max 的人形机器人原型。 据介绍,这款机器人研发用时三个月,其身高接近 5 英尺(IT之家注:约 1.5 米),体重约 106 磅(约 48.1 千克),搭载英伟达 Tho

    来源 AI 行业观察
  13. 机器人爬泰山:3100级台阶600米高差,如何认路探路?

    首届 CMG 世界机器人登泰山大赛将于明天(11 月 2 日)在山东泰安正式开赛,各类机器人齐聚泰山脚下,在红门至中天门(3100 级台阶、600 米高差)千年盘道开启实景山地竞技比拼。央视新闻今日发布视频,揭秘了机器人如何认路、探路、见招拆招。

    来源 IT之家
  14. 首届CMG世界机器人登泰山大赛11月2日开赛,央视解析机器人如何识路

    IT之家 11 月 1 日消息,首届 CMG 世界机器人登泰山大赛将于明天(11 月 2 日)在山东泰安正式开赛,各类机器人齐聚泰山脚下,在红门至中天门(3100 级台阶、600 米高差)千年盘道开启实景山地竞技比拼。 央视新闻今日发布视频,揭秘了机器人如何认路、探路、见招拆招。据介绍,赛事跳出传统实验室仿真环境,依托

    来源 AI 行业观察
  15. 北京硬科技落地观察:机器人进门店、算力提效率、医疗装备加速转化

    中经记者 孙丽朝 北京报道 在位于北京中关村的一家零售店内,北京银河通用的零售机器人“小盖”化身全天候在岗的“智能店员”。当顾客走近时,机器人主动语音迎宾,顾客语音告知所需商品后,机器人自主规划移动路径,双臂灵活转动,依据视觉识别定位货架,根据饮料、熟食、文创纪念品等不同货品的形态调整抓取力度,稳稳夹...

    来源 腾讯网
  16. 复旦OpenMOSS团队:滑窗与线性注意力之争,混合架构全都要

    本文第一作者柳潇然,复旦大学、上海创智学院 2022 级硕博连读生,导师邱锡鹏、何子薇。研究方向为长上下文大语言模型,曾在 ICLR、ICML、AAAI、EMNLP 等国际顶级人工智能会议发表论文十余篇。背景介绍长上下文已经成为大语言模型重要的基础能力,但长上下文也给模型架构带来了一个现实问题:全注意力能够直接建模任意

    来源 腾讯网
向下滚动自动加载更多