李飞飞最新 CoRL2026 演讲实录:从「橱柜模型」到世界模型,机器人需要什么样的 AI ?

资讯 雷峰网 全文 3918 字 · 约 10 分钟读完 配图 15 张 分类世界模型机器人

时隔两年,World Labs 的工作已经完全不同了。

所属频道 模型发布机器人与具身智能
李飞飞最新 CoRL2026 演讲实录:从「橱柜模型」到世界模型,机器人需要什么样的 AI ?
World Labs这两年走的路,跟两年前完全不是一回事了。

2026年11月,机器人学习顶会CoRL在奥斯汀开幕。

这届请来的演讲者里,李飞飞是个绕不开的名字。斯坦福教授、ImageNet发起者、World Labs创始人。就在CoRL开幕前,World Labs被AMD收购的消息已经在圈内传开,她也将出任AMD首席科学家。这次在CoRL现场,她除了系统介绍World Labs近期的工作和自己的行业判断,还拉上AMD苏妈做了一场对话圆桌。某种意义上,这算是她的“AMD首秀”。

给她做开场介绍的是学生Yuke(朱玉可),也是本届CoRL组织者之一。他提到一个细节:毕业典礼上,李飞飞跟他说,“你在我的实验室时是我的学生,但从今往后,你是我的朋友。”

演讲真正的主角,是World Labs与斯坦福团队做出的新模型Atlas:一个统一的生成与重建世界模型。

以下为AI科技评论带来的现场实录。

▎《Atlas:A Unified World Model for Generation and Reconstruction》

▎分享者:李飞飞

很荣幸能来CoRL,尤其是有好几位我以前的学生都在做组织者。你们干得不错,我知道,因为我不少论文和工作坊提案都被你们拒了。(全场笑)向CoRL致敬。

今天要讲的是我们实验室最近开发的模型Atlas,一个统一的生成与重建世界模型。

李飞飞最新 CoRL2026 演讲实录:从「橱柜模型」到世界模型,机器人需要什么样的 AI ?

既然站在CoRL,就先从机器人学的动机说起。

机器人领域近来变化不小,可方法再怎么换,机器人终究要回答一个根本问题:世界状态定了、目标定了、机器人也定了,每一时刻下一步该干什么?

李飞飞最新 CoRL2026 演讲实录:从「橱柜模型」到世界模型,机器人需要什么样的 AI ?

大体上,机器人要解决几件事:其一,理解和表示世界的状态,用隐式还是显式可以讨论,但“理解”本身很重要;其二,预测有后果的动作,并据此规划。雷峰网

李飞飞最新 CoRL2026 演讲实录:从「橱柜模型」到世界模型,机器人需要什么样的 AI ?

还有数据,这永远是个难题。机器人是典型的长尾问题,成功部署极其受限,所以总希望能尽量多地模拟不同环境,把真实数据补起来,用于训练和评估。

不管用什么方法,这三个问题在机器人学里依然重要。它们恰好对应世界模型要解决的问题:理解环境,对应渲染;预测动作后果,对应规划;模拟世界状态,对应仿真。

李飞飞最新 CoRL2026 演讲实录:从「橱柜模型」到世界模型,机器人需要什么样的 AI ?

渲染、规划与仿真,世界模型的三大维度

我并不想教条地说它们彼此完全独立。实际上,很多方面它们可以统一、可以衔接,这些正是这个领域最前沿、最让人兴奋的方向。

今天专门要讲的Atlas,主要解决渲染和仿真问题,尤其是模拟世界的几何以及3D/4D动态。

简单说,Atlas是一个从零训练的自回归基础模型,单一模型,接收多模态输入,文本、图像、视频、深度信号、灰度框(graybox)或3D结构信号都行。它输出像素帧;不光生成时空上漂亮的帧,还能合成新视角,从而实现高精度、高保真的3D重建。

李飞飞最新 CoRL2026 演讲实录:从「橱柜模型」到世界模型,机器人需要什么样的 AI ?

Atlas:聚焦于渲染和仿真

先回顾一点历史。

计算机视觉有两个非常重要的问题,研究者们花了几代人的时间去理解。

3D 重建是第一个难题。无论是早年的“Building Rome in a Day”,还是近来的 NeRF 神经渲染,说到底要解决的都是同一件事:拿到不同相机位姿下拍到的图像,还原出一个与真实世界相符的 3D 世界。现有方法大多依赖数量充足的带位姿图像;一旦位姿覆盖不够,那些没被覆盖到的区域重建出来就带着很大的不确定性。

李飞飞最新 CoRL2026 演讲实录:从「橱柜模型」到世界模型,机器人需要什么样的 AI ?

经典三维重建的问题所在

生成式AI是另一条路径。扩散架构本来就适合做多视角生成,这让"生成+重建"的结合越来越可行。此前也有不少研究尝试把多个视角放在一起去噪,以维持空间一致,可结果普遍不理想:一致性很难守住,每次去噪又只对应一个固定目标视角,算力开销大,实时跑不起来。

李飞飞最新 CoRL2026 演讲实录:从「橱柜模型」到世界模型,机器人需要什么样的 AI ?

经典三维重建的两大短板正在这里:空间一致性难以维持;一旦要换视角或者实时运行,计算成本就高得吃不消。

Atlas沿着这条路线往前走,目标是用一套模型架构、一套训练配方,把生成和重建装进同一个框架。

具体做法分两头看。一头是多图输入:给Atlas多张图像,它做重建;图像足够多,就做稠密重建,场景恢复得相当好。另一头是零像素条件:只给一句文本提示,Atlas做纯生成,输出多帧视角一致的图像。

两端之间还有一件事,团队称之为稀疏重建:只给极少量视角,极端情况下一张图,Atlas先估计相机位姿,再生成尽可能多的视角,把完整世界重建并生成出来。稠密重建、稀疏重建、纯生成,在同一个模型里自由切换。

李飞飞最新 CoRL2026 演讲实录:从「橱柜模型」到世界模型,机器人需要什么样的 AI ?

看个例子。

台下应该有人认得,这是斯坦福校园里著名的主广场(Main Quad)。只给两张图,模型"幻觉"出一个主广场。熟悉斯坦福的人一看就知道,这不是真的主广场,神似而已:拱廊的影子还有一点,大部分是生成的。

李飞飞最新 CoRL2026 演讲实录:从「橱柜模型」到世界模型,机器人需要什么样的 AI ?

输入8张图,效果就好了很多。相对于这么大的空间,8张图已经非常稀疏,但广场的全貌基本出来了,只是著名的纪念教堂不见了——输入图像里没有它。

再看33张图。这个数量总体上依然很稀疏,不过其中一张拍到了纪念教堂,于是Atlas基本把漂亮的、完整的斯坦福主广场重建了出来。

还有一点要说明:这33张图全是在地面上拍的,就是一个人拿着相机绕了一圈,但模型生成了完全不同的视角,包括现在屏幕上这个航拍视角。

Atlas的技术洞见是什么?就是大家都在说的下一token预测。

团队的说法是,视角即一切(Viewpoint is all you need)。在强相机条件下预测下一个视角,这就是目标函数。架构上,它是一个多视角自回归扩散Transformer。

由此Atlas能做这些事:输入文本,生成带相机位姿的图像;输入图像,估计位姿,并基于输入生成更多新位姿的图像;接收多视角输入,沿不同相机路径在视角之间插值和外推,恢复3D场景;还能接收深度图或灰度框,输出RGB像素,这在不少机器人和游戏场景里很有用。

李飞飞最新 CoRL2026 演讲实录:从「橱柜模型」到世界模型,机器人需要什么样的 AI ?

Atlas的生成和重建能力很强,下面看一些量化结果。

几天前,一家事先并不知情的第三方机构做了一次盲测,用约50万次人工判断,对多个最先进视频模型的相机控制生成能力进行比较(测评机构为Rapidata)。Atlas排在榜首,领先第二名明显。

视角一致的视频,Atlas能生成超过60秒。

李飞飞最新 CoRL2026 演讲实录:从「橱柜模型」到世界模型,机器人需要什么样的 AI ?

特别想对比一下一年半前的上一代模型:那会儿生成范围和几何一致性都很有限,有人批评说:"你们做的不是世界模型,是closet models(秘密不公开的,类似于被关在橱柜里的模型)。"(全场笑)

李飞飞最新 CoRL2026 演讲实录:从「橱柜模型」到世界模型,机器人需要什么样的 AI ?

现在,团队已经从"橱柜"走进了大得多的世界。

有个生成例子挺有趣:两张毫不相干的图像交给Atlas,它估计出合理的相机位姿,再补全场景其余部分,造出一个融合两处场景的奇幻世界,很适合创意应用。还有这个:给Atlas灰度框输入,它就能据此生成一个完整精美的大世界,机器人、设计和创意工作都用得上。

重建方面,团队拿Atlas和专门的3D重建模型做了对比:深度预测任务跨7个数据集测试,Atlas甚至超过了近期最先进的专用3D重建与深度预测模型。

李飞飞最新 CoRL2026 演讲实录:从「橱柜模型」到世界模型,机器人需要什么样的 AI ?
李飞飞最新 CoRL2026 演讲实录:从「橱柜模型」到世界模型,机器人需要什么样的 AI ?

Atlas本身不必用高斯泼溅(Gaussian Splatting)做表示,但后置接上它,在6个数据集上与专用模型比较高斯泼溅重建误差,Atlas同样达到很强的SOTA水平。团队还调节输入视角数量,让稀疏重建平滑过渡到稠密重建,两个数据集上都表现很好。

看几个例子。3D重建社区很著名的一套公寓:只给8张图,Atlas重建出这个相当大的公寓,各种视角都能采样,相机完全由人控制。还有一个"单图升维"的例子:一张输入图,得到一个高斯泼溅世界,一个非常漂亮的奇幻空间。

这个例子里,模型除了生成场景,还生成深度信息,艺术家因此能精确控制相机方向,得到想要的运镜效果。

再说两个有意思的。影迷都熟悉“子弹时间”(Bullet Time),《黑客帝国》里那个经典镜头,当年靠数百台相机阵列才捕捉下时空动态。如今在办公室里临时架起3台iPhone,Atlas就能把这种时空动态场景重建出来,子弹时间的效果相当漂亮。

还有一项进展:我们最近把模型蒸馏到能实时跑,帧率15fps。屏幕上放的是有人实时“驾驶”Atlas、实时生成的录屏,保真度和视角一致性都很好。

(编者注:多视角自回归扩散加上15fps实时生成,对底层算力吞吐的要求不用多说。演讲结束后的对话环节,李飞飞和AMD CEO苏姿丰正好就世界模型与底层算力的协同深聊了一场,详见今日次条实录。)

另外,Atlas在机器人仿真里也确实有潜在用处,我们正在测试:一边用来训练导航机器人,一边把真实世界接进仿真、再回到真实的机器人操作。这些机器人只在仿真的虚拟世界里训练,却能零样本部署到真实世界。这方面的工作我们正结合Atlas往深里做。

Atlas能为机器人重建空间,提供仿真环境

大家可以盯一下我们的X账号,这项工作的首映很快就能看到,我保证视频很精彩。创作者能用Atlas把创作梦想落地,相机控制、物体交互、实时导航都能精确做到。Atlas很快会向全世界开放,敬请期待。

最后打几个广告。一个是斯坦福BEHAVIOR挑战赛,今年办到第二年,获奖者明天公布。今年很有看头,包括生成式AI在内的新方法都冒出来了。

还有,我很多学生费了不少劲才进到CoRL,我们一共有6篇论文,World Labs团队和斯坦福学生团队在这些研究上投入很多。

谢谢大家。

▎后记:

以上是演讲全文。这场题为《一个统一的生成与重建世界模型——Atlas》的演讲结束后,李飞飞还和AMD CEO苏姿丰(Lisa Su)做了一场炉边对话,聊算力、聊机器人,也聊到“这个时代最大的失误”。

这是AMD收购World Labs之后两人第一次同台,不过那是另一个故事,下一篇推文再讲。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. AMD 82亿美元收购李飞飞公司:世界模型为何成AI新战场?

    飞象原创(高靖宇/文)世界模型,已经成为今年AI行业最热闹的赛道之一。AMD宣布以约82亿美元收购李飞飞创办的World Labs,谷歌发布新一代世界模型Genie 4,百度Apollo World世界模型亮相——巨头们接连出手,一场通往物理AI的竞赛就此开启。为什么世界模型突然成了焦点?行业里一个普遍的共识是:语言模

    来源 腾讯网
  2. OpenAI再撤机器人团队:通用模型够用了,中国厂商还在押注“小脑”

    11 月 13 日,机器人学习大会 CoRL 在奥斯汀开幕。OpenAI 预订的 208 号展位空着。没有样机,没有海报,没有人站在那里回答问题。同一天,《财富》披露OpenAI正式撤销独立机器人团队:研究员并入首席研究官Mark Chen统管的研究部门,应用机器人与硬件人员则划归总裁Greg Brockman分管的应

    来源 腾讯网
  3. GreenWAM:一套模型管20种机器人,Sber新研究把动作空间拧成79槽

    你有没有想过一个问题:如果你买了一台机器人,想让它学会叠衣服,它需要知道什么?大多数人的第一反应是,它需要会动手,会抓、会放、会转腕子。但真正有经验的机器人研究者会告诉你,光会动手不够。它还得知道,如果我这样动手,接下来会发生什么。衣服会不会滑下去,手会不会碰到桌角,叠好的角会不会歪。这其实是两件事...

    来源 腾讯网
  4. AI写出诗却拧错试剂瓶:W2W-Bench测出大模型在物理世界缺了什么

    你有没有想过,一个能写出诗歌、能通过律师考试的AI,在面对一个真实的乐高积木时,可能连两块积木有没有真正卡紧都看不出来?这听起来有点荒谬。毕竟我们都见过那些让人惊叹的新闻:某个AI团队用智能体写出了能编译Linux内核的C语言编译器,另一个团队号称用AI解决了纳维斯托克斯方程这个数学界悬赏的难题。这些成就都发生...

    来源 腾讯网
  5. 星舰第15飞:B22助推器返场未果,S42将试塔捕?

    11月14日消息,美国中部时间2026年11月13日下午,SpaceX“星舰” 第15次试飞成功升空。此次任务使用超重型助推器 B22 号和飞船 S42 号,原计划首次实现助推器与飞船双双返回发射场并由发射塔机械臂实施空中捕获回收,同时部署 26 颗第三代星链卫星。但任务并未完全按计划推进。助推器未能按计划返回发射场,

    来源 TechWeb
  6. SpaceX星舰第15次试飞升空:双回收未全达成,飞船返航待验证

    【TechWeb】11月14日消息,美国中部时间2026年11月13日下午,SpaceX“星舰”(Starship)第15次试飞成功升空。此次任务使用超重型助推器 B22 号和飞船 S42 号,原计划首次实现助推器与飞船双双返回发射场并由发射塔机械臂实施空中捕获回收,同时部署 26 颗第三代星链卫星。 但任务并未完全按

    来源 AI 行业观察
  7. 星舰第15次试飞:B22与S42首演双回收未成,墨西哥湾落幕

    11月14日消息,美国中部时间2026年11月13日下午,SpaceX“星舰” 第15次试飞成功升空。此次任务使用超重型助推器 B22 号和飞船 S42 号,原计划首次实现助推器与飞船双双返回发射场并由发射塔机械臂实施空中捕获回收,同时部署 26 颗第三代星链卫星。但任务并未完全按计划推进。助推器未能按计划返回发射场,

    来源 TechWeb
  8. AI时代提速,日用品质量却在缩水:谁在为凑合买单

    出品 | 虎嗅青年文化组作者 | 渣渣郡本文首发于虎嗅年轻内容公众号“那个NG”(ID:huxiu4youth)。在这里,我们呈现当下年轻人的面貌、故事和态度。2026年的AI大爆炸与具身机器人风口,让人类文明再次狂飙突进。身处这趟飞驰的时代列车之中,总让人觉得距离共产主义就差一次版本更新。然而,当各国工程师在如此振奋

    来源 腾讯网
  9. 黄仁勋离任引不满:英伟达机器人工程师辞职

    【TechWeb】11月16日消息,英伟达机器人工程师Darrell Dai(戴达瑞)已通过个人X账号宣布辞职。他在帖子中解释,离职的核心原因是对公司前CEO黄仁勋(Jensen Huang)的离任方式感到失望,认为公司在此事上缺乏透明度和

    来源 TechWeb
  10. 英伟达机器人学习工程师戴士钦宣布辞职:“黄仁勋离职让我格外失望”

    IT之家 11 月 16 日消息,英伟达机器人学习工程师戴士钦(Darrell Dai)昨日发文,宣布将离开公司。 戴士钦表示,他眼中的黄仁勋不只是英伟达 CEO,他钦佩黄仁勋投资那些一下子看不到明确前景的未来技术。在深度学习热潮到来之前,黄仁勋就已投入 CUDA,并在人工智能成为所有人关注焦点之前布局 AI 领域。这

    来源 AI 行业观察
  11. 勒布朗预测:5~10年内多数主要战斗将由机器人承担

    IT之家 11 月 14 日消息,由埃里克 · 特朗普(Eric Trump)投资支持机器人公司 Foundation 的联合创始人迈克 · 勒布朗(Mike LeBlanc)表示,未来 5~10 年内,全球大部分主要战斗将由机器完成。 在接受福克斯新闻数字版(Fox News Digital)采访时,勒布朗表示:“我

    来源 AI 行业观察
  12. 戴士钦离开英伟达:黄仁勋辞职令他格外失望

    IT之家 11 月 16 日消息,英伟达机器人学习工程师戴士钦(Darrell Dai)昨日发文,宣布将离开公司。戴士钦表示,他眼中的黄仁勋不只是英伟达 CEO,他钦佩黄仁勋投资那些一下子看不到明确前景的未来技术。在深度学习热潮到来之前,黄仁勋就已投入 CUDA,并在人工智能成为所有人关注焦点之前布局 AI 领域。这些

    来源 腾讯网
  13. 黄仁勋辞职:周鸿祎称创始人离场比丢CEO更伤,中国AI封锁难挡?

    “黄仁勋下台”背后:对华芯片政策的分歧才是关键周鸿祎还将视角转向黄仁勋辞职对中国AI的影响。他公开批评对华芯片管制是失败的,还警告中国在AI领域已经非常接近美国。周鸿祎还梳理了事件时间线:11月4日美国国会相关委员会要求黄仁勋说明英伟达先进芯片的出口和流向问题;11月8日黄仁勋个人风波进一步发酵;11月12日英伟达宣布

    来源 TechWeb
  14. 马斯克再创历史 SpaceX首次实现“筷子夹飞船”

    【TechWeb】11月15日消息,美国中部时间11月14日下午,美国太空探索技术公司(SpaceX)的“星舰”飞船在执行了大约22个半小时的飞行任务后,返回得克萨斯州的发射基地,并由发射塔“筷子”机械臂实施“捕获”回收。 这是SpaceX首次成功捕获从地球轨道返回的星舰上面级飞船,为实现星舰完全、快速重复使用迈出关键

    来源 AI 行业观察
  15. 彭思达从三维视觉转向具身智能:SuperNav与ScaleNav分工导航大脑小脑

    八年研究,两个落地系统,超六万GitHub Stars。 作者丨李秋悦 编辑丨吴 彤 一支女团跳舞,镜头不必再听导演安排,观众甚至能看到拍摄时不存在的机位。 传统MV拍摄,摄影机架在哪里,观众看到的就是哪个角度。现在用多台摄像机同时记录舞者动作,再重建出一个三维动态场景,镜头可以任意调换位置;从队形正面绕到侧面,穿过舞

    来源 AI 行业观察
  16. 众筹超500万美元,全球首款多地形跟拍机器人Beni线下首发

    2026 年 11 月 14 日,深圳湾文化广场北馆INNO100 全球创新旗舰店,Kickstarter为其平台上的众筹爆款新品——妙动科技打造的多地形跟拍机器人Beni,举办“首硬礼”中国线下首发活动。即日起用户可在该线下门店现场体验并直接购买Beni跟拍机器人,标准套装4999元、探索套装5799元。 此前,Be

    来源 AI 行业观察
向下滚动自动加载更多