徐梦迪谈机器人部署学习:预训练不够,还需现场适应
人机交互不只是目标,更是解决方案。

2026 年 11 月 12 日,CoRL 2026 “Learn@Deploy”(机器人部署中学习)半日研讨会开场,清华大学交叉信息研究院助理教授徐梦迪以 Keynote 讲者身份做报告。
徐梦迪本科读的是清华车辆工程专业,之后到卡内基梅隆大学机械工程系攻读博士,导师是 Safe AI Lab 负责人赵鼎。她的论文《构建可适应的通用机器人》获得该系最佳博士论文奖。论文里她提出,造通用机器人不能一味堆参数、堆数据,也不能指望预训练自然泛化,适应能力必须补上——机器人到了现场,要能靠少量新信息迅速调整策略。
拿到博士学位后,徐梦迪进入斯坦福视觉与学习实验室,跟随吴佳俊、李飞飞做博士后。这期间她完成了 ROSETTA:借助大模型,把人类各式各样的口语偏好转化为机器可学习的奖励信号,使机器人学会训练阶段没见过的新指令。
2025年,徐梦迪加入清华叉院并组建自己的实验室,研究方向进一步收拢到“部署时学习”。2026 年初,团队发布 CoVer-VLA,思路是让机器人在行动前多生成几组候选动作,再由验证器挑出与指令最贴合的那一组,以此完成指令对齐。Dex-X 则从人类视频学习灵巧操作,用仿真补上视频中缺失的触觉监督,入选 CoRL 2026。
这场报告里,徐梦迪对近两年的工作做了集中提炼,也向学界分享了她对未来技术走向的判断。以下为雷峰网从现场带回的演讲实录精编。
▎报告人:徐梦迪 清华大学交叉信息研究院助理教授
报告题目:Building Adaptable Generalist Robots for Human-Centered Environments

01
为什么要在部署中学习
我今天要聊的话题,是怎么做出能随机应变的通用机器人,特别是那些要和人待在同一场景里的机器人。此类场景有一个特别的难点:机器人得在开放世界中导航、操作,例如把午饭后的桌面收拾干净;同时还要和人打交道,包括听懂指令、照顾偏好、看懂手势,以及提供物理层面的帮助,像扶着人站起来或者走几步。
我有一些观察,希望能激发大家思考为什么在以人为本的场景中部署时学习非常重要。

第一,人很容易给机器人派一些它根本做不到的活儿。最省事的做法,是让人先示范一遍,机器人照着学人的动作或偏好。拿倒水来说,机器人一开始不会,或者碰上没见过的杯子,人演示一次,它就能摸清这个物体的特性,把任务完成。
第二,开放世界里的环境,很多情况下是可以观测的。举个例子,一台低成本机械臂要去拿装满水的水壶,第一次试完,它就明白这壶的重量超出了自己的负载,到第二次就能吸取教训,换成双臂把杯子抬起来再倒。
第三,不同人的偏好能差得很远。就说倒水,每个人想要的水量都不一样,甚至同一个人,一天里不同时段要的水量也可能变。机器人得跟人做流式交互,比如让人按绿色按钮,直接控制水量。
这些观察指向同一个结论:机器人得在部署阶段获取新信息,据此调整策略。
不过机器人学习终究还是机器学习问题,离不开监督。部署时能拿到哪些监督信号?在我看来,有三种最关键:智能体系统、人类反馈、仿真。

头一个是智能体系统,它由语言模型、视觉语言模型或者独立验证器构成,帮机器人判断某个行为是好是坏,把这些好坏信号给出来,机器人就能在一次次尝试中调整策略。
另一个自然的监督资源,是让人类直接与机器人交互。但人的指令类型多样,包括语言、手势、演示及联合模态。
最后是仿真,它既能当评估平台,也能拿来训练,广义上涵盖物理模拟器、机器人模拟器和世界模型,靠预测不同动作会带来什么结果,帮机器人挑出更合适的动作。
接下来我将分享我们近期的三篇论文,每篇都结合了不同的资源。

02
规模验证比规模策略学习更有效
首先,让我们谈谈为什么规模验证很重要。我们的结论是,规模验证可以比规模策略学习更有效地实现视觉语言动作对齐。
做这项工作,源于我们注意到:哪怕最先进的视觉语言动作模型,指令遵循能力依然有限。已有两条路,一是改写指令来扩充训练数据,可部署时的人类指令它覆盖不全;二是换更大的视觉语言模型骨干,但学习动作生成会带来严重遗忘。

那么,能否假设已有预训练视觉语言模型,只做轻量修改,通过测试时推理和验证来提升策略?
团队训练了一个独立的验证器,采用对比学习方式,再把它与视觉语言动作模型搭配,组成对比验证框架。离线训练阶段会构造出困难的正例与负例;到了部署阶段,验证器分两步发挥作用:先判断当前任务下哪些指令是好的,再判断在给定指令下哪些动作是好的。

论文链接:https://arxiv.org/abs/2602.12281
具体流程是这样:拿到用户提示和当前场景图像后,先让视觉语言模型生成多种改写指令,针对每条改写指令多次调用视觉语言动作模型,得到若干候选动作块,接着在指令层面和动作层面分别打分,挑出最优动作拿去部署。
这个验证器完全在离线阶段训练,部署时只是多次并行查询,延迟很低。比如批量做到 32 时,只多出约 8 毫秒,占整体延迟约 1%。
实验还对比了几种采样机制:仅添加高斯噪声、对原模型重复查询、只做指令采样、指令与动作混合采样。结果显示,混合采样能明显提升动作多样性,于是更有可能采到最佳动作块,动作错误也随之减少。混合采样的价值,就在于借助不同的语言指令把动作多样性拉高。
团队还比较了两条路线:把额外数据直接拿去微调 Pi 0,以及用少量数据训练验证器、在部署时验证生成样本。后者的性能提升速度约为前者的 7 倍,分布内提升约 20%,分布外约 10%。这套框架通用性也较强,能接入不同类型的视觉语言动作模型,并在每个动作块开始时反复验证、反复选择。


03
如何适应多样化的人类指令
第二项工作更贴近人本环境,目的是让机器人策略更好地适应不同人给出的指令。这项工作大约两年前完成,当时靠强化学习来学习新技能,补上预训练技能集与人类所需技能集之间的缺口。

论文链接:https://openreview.net/forum?id=Ig6goVdtjb
团队做了一次大型调查,安排机器人与 20 个不同的人交互,这些人都对机器人没什么了解。结果发现,人类指令确实非常多样,而且人会切换角色——有时把自己代入成机器人,有时又像在监督机器人。
要让机器人适应这些偏好,在当时并不容易。团队的做法是借助智能体系统(例如视觉语言模型)把人类偏好转成学习用的奖励信号,再用这些奖励去训练强化学习智能体。
实验下来,团队注意到最关键的环节是消除人类指令中的歧义。最近用 Codex 处理类似任务时也看到,哪怕指令很模糊,它也会先做 grounding,把指令同当前机器人 rollout 以及当前场景关联起来。当年团队想做的就是让 grounding 机制更明确,而如今最先进的语言模型已经自带这种机制。

04
从人类演示中学习
第三项工作讨论的是如何从人类演示中学习。设想机器人跟场景里的人交互,让它学新技能最简单的办法,就是请人把任务演示一遍,机器人再从演示中提取有用的行为信号。

论文链接:https://arxiv.org/abs/2609.07747
难点在于,人类视频虽然包含丰富的行为和偏好信息,却存在形态差距和模态差距。以触觉为例,触觉信息对人很重要,缺了触觉可能就完不成任务,但机器人很难直接从人类视频里拿到接触信息。
团队的办法是以仿真器作为桥梁,把接触信息补上,让机器人在部署推理时能用上触觉信息。流程并不复杂,就是一个教师—学生架构,教师和学生都在仿真里训练。结果再次说明触觉信息很关键:没有触觉,成功率至少要低 10%,在灵巧操作场景里,触觉尤其重要。

05
核心理念
从这些工作里,徐梦迪梳理出几条自己的判断。在她看来,要把部署时学习这件事研究透,下面这些点绕不开。
头一条是机器人得按人的方式去学。既要向智能体系统学,也要向人学。人机交互在她眼里不只是一个目标,它同时是让机器人变得更能干、更通用的解法。另一条是上下文学习的分量很重。机器人得频繁跟人打交道,策略也得跟着频繁调整。最省事的做法就是上下文学习,不动模型参数;到了部署阶段,可能还得拿新收集的交互数据去更新参数。
第三条讲的是系统层面。机器人系统应当作为一个整体去演进。System 1 或许要靠新的机器人模型,才能把无意识学习做得更好;但整个机器人系统恐怕是个至少两层结构的复杂系统,还得配上驾驭机制,把不同语言模型的信息用起来。
仿真同样不能少。它给出了探索场景的另一条路,探索和奖励上的开销也能省下来。
国际机器人顶会 CoRL 2026 快要开了。参会的研究者、学生,还有关心 AI 前沿进展的读者,都欢迎加入雷峰网的交流群。