徐梦迪谈机器人部署学习:预训练不够,还需现场适应

资讯 雷峰网 全文 3422 字 · 约 9 分钟读完 配图 13 张 分类机器人

人机交互不只是目标,更是解决方案。

所属频道 机器人与具身智能
清华徐梦迪:预训练做再好都不够,机器人需要在部署中学习 | CoRL 2026
人机交互不只是目标,更是解决方案。

2026 年 11 月 12 日,CoRL 2026 “Learn@Deploy”(机器人部署中学习)半日研讨会开场,清华大学交叉信息研究院助理教授徐梦迪以 Keynote 讲者身份做报告。

徐梦迪本科读的是清华车辆工程专业,之后到卡内基梅隆大学机械工程系攻读博士,导师是 Safe AI Lab 负责人赵鼎。她的论文《构建可适应的通用机器人》获得该系最佳博士论文奖。论文里她提出,造通用机器人不能一味堆参数、堆数据,也不能指望预训练自然泛化,适应能力必须补上——机器人到了现场,要能靠少量新信息迅速调整策略。

拿到博士学位后,徐梦迪进入斯坦福视觉与学习实验室,跟随吴佳俊、李飞飞做博士后。这期间她完成了 ROSETTA:借助大模型,把人类各式各样的口语偏好转化为机器可学习的奖励信号,使机器人学会训练阶段没见过的新指令。

2025年,徐梦迪加入清华叉院并组建自己的实验室,研究方向进一步收拢到“部署时学习”。2026 年初,团队发布 CoVer-VLA,思路是让机器人在行动前多生成几组候选动作,再由验证器挑出与指令最贴合的那一组,以此完成指令对齐。Dex-X 则从人类视频学习灵巧操作,用仿真补上视频中缺失的触觉监督,入选 CoRL 2026。

这场报告里,徐梦迪对近两年的工作做了集中提炼,也向学界分享了她对未来技术走向的判断。以下为雷峰网从现场带回的演讲实录精编。

▎报告人:徐梦迪 清华大学交叉信息研究院助理教授

报告题目:Building Adaptable Generalist Robots for Human-Centered Environments

清华徐梦迪:预训练做再好都不够,机器人需要在部署中学习 | CoRL 2026

01

为什么要在部署中学习

我今天要聊的话题,是怎么做出能随机应变的通用机器人,特别是那些要和人待在同一场景里的机器人。此类场景有一个特别的难点:机器人得在开放世界中导航、操作,例如把午饭后的桌面收拾干净;同时还要和人打交道,包括听懂指令、照顾偏好、看懂手势,以及提供物理层面的帮助,像扶着人站起来或者走几步。

我有一些观察,希望能激发大家思考为什么在以人为本的场景中部署时学习非常重要。

清华徐梦迪:预训练做再好都不够,机器人需要在部署中学习 | CoRL 2026

第一,人很容易给机器人派一些它根本做不到的活儿。最省事的做法,是让人先示范一遍,机器人照着学人的动作或偏好。拿倒水来说,机器人一开始不会,或者碰上没见过的杯子,人演示一次,它就能摸清这个物体的特性,把任务完成。

第二,开放世界里的环境,很多情况下是可以观测的。举个例子,一台低成本机械臂要去拿装满水的水壶,第一次试完,它就明白这壶的重量超出了自己的负载,到第二次就能吸取教训,换成双臂把杯子抬起来再倒。

第三,不同人的偏好能差得很远。就说倒水,每个人想要的水量都不一样,甚至同一个人,一天里不同时段要的水量也可能变。机器人得跟人做流式交互,比如让人按绿色按钮,直接控制水量。

这些观察指向同一个结论:机器人得在部署阶段获取新信息,据此调整策略。

不过机器人学习终究还是机器学习问题,离不开监督。部署时能拿到哪些监督信号?在我看来,有三种最关键:智能体系统、人类反馈、仿真。

清华徐梦迪:预训练做再好都不够,机器人需要在部署中学习 | CoRL 2026

头一个是智能体系统,它由语言模型、视觉语言模型或者独立验证器构成,帮机器人判断某个行为是好是坏,把这些好坏信号给出来,机器人就能在一次次尝试中调整策略。

另一个自然的监督资源,是让人类直接与机器人交互。但人的指令类型多样,包括语言、手势、演示及联合模态。

最后是仿真,它既能当评估平台,也能拿来训练,广义上涵盖物理模拟器、机器人模拟器和世界模型,靠预测不同动作会带来什么结果,帮机器人挑出更合适的动作。

接下来我将分享我们近期的三篇论文,每篇都结合了不同的资源。

清华徐梦迪:预训练做再好都不够,机器人需要在部署中学习 | CoRL 2026

02

规模验证比规模策略学习更有效

首先,让我们谈谈为什么规模验证很重要。我们的结论是,规模验证可以比规模策略学习更有效地实现视觉语言动作对齐。

做这项工作,源于我们注意到:哪怕最先进的视觉语言动作模型,指令遵循能力依然有限。已有两条路,一是改写指令来扩充训练数据,可部署时的人类指令它覆盖不全;二是换更大的视觉语言模型骨干,但学习动作生成会带来严重遗忘。

清华徐梦迪:预训练做再好都不够,机器人需要在部署中学习 | CoRL 2026

那么,能否假设已有预训练视觉语言模型,只做轻量修改,通过测试时推理和验证来提升策略?

团队训练了一个独立的验证器,采用对比学习方式,再把它与视觉语言动作模型搭配,组成对比验证框架。离线训练阶段会构造出困难的正例与负例;到了部署阶段,验证器分两步发挥作用:先判断当前任务下哪些指令是好的,再判断在给定指令下哪些动作是好的。

清华徐梦迪:预训练做再好都不够,机器人需要在部署中学习 | CoRL 2026

论文链接:https://arxiv.org/abs/2602.12281

具体流程是这样:拿到用户提示和当前场景图像后,先让视觉语言模型生成多种改写指令,针对每条改写指令多次调用视觉语言动作模型,得到若干候选动作块,接着在指令层面和动作层面分别打分,挑出最优动作拿去部署。

这个验证器完全在离线阶段训练,部署时只是多次并行查询,延迟很低。比如批量做到 32 时,只多出约 8 毫秒,占整体延迟约 1%。

实验还对比了几种采样机制:仅添加高斯噪声、对原模型重复查询、只做指令采样、指令与动作混合采样。结果显示,混合采样能明显提升动作多样性,于是更有可能采到最佳动作块,动作错误也随之减少。混合采样的价值,就在于借助不同的语言指令把动作多样性拉高。

团队还比较了两条路线:把额外数据直接拿去微调 Pi 0,以及用少量数据训练验证器、在部署时验证生成样本。后者的性能提升速度约为前者的 7 倍,分布内提升约 20%,分布外约 10%。这套框架通用性也较强,能接入不同类型的视觉语言动作模型,并在每个动作块开始时反复验证、反复选择。

清华徐梦迪:预训练做再好都不够,机器人需要在部署中学习 | CoRL 2026
清华徐梦迪:预训练做再好都不够,机器人需要在部署中学习 | CoRL 2026

03

如何适应多样化的人类指令

第二项工作更贴近人本环境,目的是让机器人策略更好地适应不同人给出的指令。这项工作大约两年前完成,当时靠强化学习来学习新技能,补上预训练技能集与人类所需技能集之间的缺口。

清华徐梦迪:预训练做再好都不够,机器人需要在部署中学习 | CoRL 2026

论文链接:https://openreview.net/forum?id=Ig6goVdtjb

团队做了一次大型调查,安排机器人与 20 个不同的人交互,这些人都对机器人没什么了解。结果发现,人类指令确实非常多样,而且人会切换角色——有时把自己代入成机器人,有时又像在监督机器人。

要让机器人适应这些偏好,在当时并不容易。团队的做法是借助智能体系统(例如视觉语言模型)把人类偏好转成学习用的奖励信号,再用这些奖励去训练强化学习智能体。

实验下来,团队注意到最关键的环节是消除人类指令中的歧义。最近用 Codex 处理类似任务时也看到,哪怕指令很模糊,它也会先做 grounding,把指令同当前机器人 rollout 以及当前场景关联起来。当年团队想做的就是让 grounding 机制更明确,而如今最先进的语言模型已经自带这种机制。

清华徐梦迪:预训练做再好都不够,机器人需要在部署中学习 | CoRL 2026

04

从人类演示中学习

第三项工作讨论的是如何从人类演示中学习。设想机器人跟场景里的人交互,让它学新技能最简单的办法,就是请人把任务演示一遍,机器人再从演示中提取有用的行为信号。

清华徐梦迪:预训练做再好都不够,机器人需要在部署中学习 | CoRL 2026

论文链接:https://arxiv.org/abs/2609.07747

难点在于,人类视频虽然包含丰富的行为和偏好信息,却存在形态差距和模态差距。以触觉为例,触觉信息对人很重要,缺了触觉可能就完不成任务,但机器人很难直接从人类视频里拿到接触信息。

团队的办法是以仿真器作为桥梁,把接触信息补上,让机器人在部署推理时能用上触觉信息。流程并不复杂,就是一个教师—学生架构,教师和学生都在仿真里训练。结果再次说明触觉信息很关键:没有触觉,成功率至少要低 10%,在灵巧操作场景里,触觉尤其重要。

清华徐梦迪:预训练做再好都不够,机器人需要在部署中学习 | CoRL 2026

05

核心理念

从这些工作里,徐梦迪梳理出几条自己的判断。在她看来,要把部署时学习这件事研究透,下面这些点绕不开。

头一条是机器人得按人的方式去学。既要向智能体系统学,也要向人学。人机交互在她眼里不只是一个目标,它同时是让机器人变得更能干、更通用的解法。另一条是上下文学习的分量很重。机器人得频繁跟人打交道,策略也得跟着频繁调整。最省事的做法就是上下文学习,不动模型参数;到了部署阶段,可能还得拿新收集的交互数据去更新参数。

第三条讲的是系统层面。机器人系统应当作为一个整体去演进。System 1 或许要靠新的机器人模型,才能把无意识学习做得更好;但整个机器人系统恐怕是个至少两层结构的复杂系统,还得配上驾驭机制,把不同语言模型的信息用起来。

仿真同样不能少。它给出了探索场景的另一条路,探索和奖励上的开销也能省下来。

国际机器人顶会 CoRL 2026 快要开了。参会的研究者、学生,还有关心 AI 前沿进展的读者,都欢迎加入雷峰网的交流群。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 英伟达安抚机器人被投企业:物理AI投入不减,业务照常

    IT之家 11 月 18 日消息,科技媒体 Business Insider 今天(11 月 18 日)发布博文,报道称在黄仁勋突发离职后,英伟达及其风险投资部门 NVentures 已联系至少 3 家其投资的机器人初创公司,明确表示业务将“照常进行”,以稳定市场对其机器人投资战略的担忧。这一动作发生在临时 CEO 科

    来源 腾讯网
  2. 雷军看好具身智能机器人:未来市场想象空间或超汽车产业

    IT之家 11 月 17 日消息,2026 年 APEC 工商领导人峰会 11 月 17 日至 18 日在深圳举办,主题为“共促繁荣,共赢未来”。小米创办人、董事长兼 CEO 雷军认为,过去 4 年时间,AI 大模型的技术突飞猛进,给我们的生活工作带来了巨大变化。雷军表示,当 AI 走向物理世界、与终端和各类应用场景深

    来源 腾讯网
  3. 董明珠APEC现场找机器人合作:格力已研发十几年

    IT之家 11 月 18 日消息,据看看新闻报道,11 月 17 日,2026 年 APEC 工商领导人峰会举行,格力电器董事长董明珠在现场主动寻找机器人领域的合作机会。 董明珠表示,具身智能机器人需要减速机、驱动器、伺服电机等核心零部件,而格力已经研发机器人十几年,目前格力电器自动化生产线上的机器人全部由格力自主完成

    来源 AI 行业观察
  4. 王兴兴谈机器人进家:泛化能力是最棘手难题,规模化还有多道坎

    IT之家 11 月 17 日消息,据看看新闻 Knews 报道,宇树科技 CEO 王兴兴今日现身深圳,参加 APEC 工商领导人峰会时,谈到机器人行业目前面临的挑战。 王兴兴表示,大家希望可以借助 AI,让机器人走进千家万户真正干活,而不是再根据具体场景重新训练,这种“泛化能力”是目前最棘手的。 IT之家从原报道获悉,

    来源 AI 行业观察
  5. 谷歌地图Ask Maps升级:AI可代打电话订位,还能规划自驾路线

    谷歌于2026年11月16日宣布对其基于Gemini技术的 Google Maps 聊天机器人 Ask Maps 进行重大功能更新。该工具现在不仅能够查找美容、宠物护理、汽车和房屋维修等各类预约服务,还能直接致电当地商家完成预订,并在显示可用时段前自动收集必要信息。同时,用户还可借助该功能查找已保存

    来源 AI 开发者社区
  6. 谷歌地图Ask Maps迎重大更新:支持AI代打电话预约及智能行程规划

    谷歌于2026年11月16日宣布,基于Gemini的Google Maps聊天机器人Ask Maps重大更新。该工具可查找美容、宠物护理、汽车、房屋维修等预约服务,直接致电当地商家完成预订,并自动收集必要信息;还能查已保存餐厅的即时空位。行程规划可依兴趣生成,支持修改、分享或导出至谷歌。

    来源 AI 产业速递
  7. 埃里克·特朗普背书机器人公司欠薪停摆,CEO曾挪用资金买豪宅

    一家曾以“机器人士兵”概念吸引资本、并获得埃里克·特朗普背书的机器人初创公司,近日被曝未能按时发放员工工资,濒临倒闭。而就在一年前,其CEO被指挪用公司资金购置豪宅。这起事件不仅暴露了明星初创企业的治理失序,也为火热的国防科技投资敲响警钟。

    来源 AI 科技快讯
  8. 李飞飞入职AMD任首席科学家,World Labs被收编做3D世界模型

    AMD 11月16日宣布完成收购AI模型公司World Labs,以扩展AI技术栈布局。联合创始人李飞飞加入AMD,任执行副总裁兼首席科学家,直接向董事长兼CEO苏姿丰汇报。World Labs专注生成、重建和模拟交互式3D环境的AI模型,并布局机器人学习与仿真;收购后团队将继续基础模型研究,与AMD工程师协作研发。

    来源 AI 产业速递
  9. AMD收购World Labs:李飞飞任执行副总裁兼首席科学家

    AMD于11月16日宣布,已完成对AI模型公司 World Labs 的收购,以进一步扩展其在AI技术栈领域的布局。World Labs联合创始人李飞飞将加入AMD,担任执行副总裁兼首席科学家,直接向董事长兼CEO苏姿丰汇报。 World Labs专注于开发能够生成、重建和模拟交互式3D环境的AI模

    来源 AI 开发者社区
  10. AI陪伴,硬件的账该怎么算?

    “千万不要做硬件。”心言集团创始人任永亮听过不少这样的劝告。这家做了十年线上情感陪伴软件的公司,在今年10月正式迈进了AI陪伴硬件的“洪流”,发布了第一款AI机器人巴布((Bubbo 1,售价9499元),任永亮也因此多了一个新的身份——心言机器人创始人。做这个决策很难,软件可以更快试错和迭代,而硬件创业则会面临更..

    来源 腾讯网
  11. 雷军王兴兴李彦宏APEC发声:机器人8小时、模型临界点、AI泡沫风险

    雷军披露,小米具身智能机器人已经能在工厂完成8小时工作;王兴兴认为,机器人模型泛化能力接近突破临界点;李彦宏则提醒,AI应用如果迟迟不能带来收入和利润增长,行业就可能面临泡沫风险。 11月17日,2026年亚太经合组织(APEC)工商领导人峰会在深圳前海国际会议中心开幕。雷军、王兴兴、李彦宏分别参与数字经济、人工智能创

    来源 AI 行业观察
  12. 思灵机器人完成5亿美元融资,工厂自动化方案才是其核心收入来源

    总部位于德国慕尼黑的思灵机器人(AgileRobots)近日宣布完成5亿美元F轮融资,投后估值85亿美元。本轮由软银集团领投,英伟达、日立集团和T.Capital等参投。至此,思灵累计融资约20亿美元。按思灵的说法,它是欧洲估值最高的私营机器人公司。这条消息在国内被广泛转发时,标题和配图大多落在人形机器人上,有媒体直接

    来源 腾讯网
  13. 王兴兴:机器人模型泛化最棘手,量产到数千万台考验制造服务

    宇树科技董事长王兴兴在2026年APEC工商领导人峰会上表示,模型泛化能力是当前机器人行业最棘手的问题之一,行业希望同一套模型能让机器人进入不同家庭后立即工作。他认为机器人模型泛化能力正接近新临界点,但制造、算力与服务体系的扩张同样决定机器人能否走进千家万户。

    来源 凤凰科技
  14. 特朗普家族背书机器人公司陷欠薪:CEO曾挪用资金买豪宅

    一家曾以“机器人士兵”概念吸引资本、并获得埃里克·特朗普背书的机器人初创公司,近日被曝未能按时发放员工工资,濒临倒闭。而就在一年前,其CEO被指挪用公司资金购置豪宅。这起事件不仅暴露了明星初创企业的治理失序,也为火热的国防科技投资敲响警钟。

    来源 AI 行业观察
  15. AI金融分析师来了,香港上市公司和家办都投了

    在香港,AI正在成为投资者通讯录里的新好友。 不需要下载新的App,只需扫描二维码,添加一个名叫ARTi的联系人,就能像聊天一样询问股市行情、个股走势,甚至让它生成一份投资研究报告。不同于普通聊天机器人,ARTi还会记录自己对股票的每一次判断,并在未来的某个时间点,根据真实市场行情检验。 这款产品背后,是一家从香港家族

    来源 AI 行业观察
  16. Galaxy Corporation:明年1月推实体人形机器人女团

    快科技11月18日消息,近日,知名韩星权志龙所属经纪公司,也就是韩国娱乐科技企业Galaxy Corporation,对外公布计划称,将于明年1月面向全球推出实体人形机器人女团,探索K-pop全新演艺模式。

    来源 凤凰科技
  17. 波士顿动力Atlas进半导体厂:格罗方德2027年初启动测试

    IT之家 11 月 18 日消息,据外媒 Interesting Engineering 昨天报道,波士顿动力 Atlas 人形机器人即将首次进入半导体制造领域,格罗方德(GlobalFoundries)正准备从 2027 年初开始在旗下工厂测试 Atlas。 IT之家从原报道获悉,波士顿动力的四足机器人 Spot 此

    来源 AI 行业观察
向下滚动自动加载更多