李飞飞CoRL2026演讲:Atlas统一世界模型,机器人需要怎样的AI
时隔两年,World Labs 的工作已经完全不同了。

演讲嘉宾里有个绕不开的人物:李飞飞。她的身份包括斯坦福教授、ImageNet 发起者、World Labs 创始人。就在本届 CoRL 开幕前,World Labs 被 AMD 收购的消息已在圈内传开,她也将出任 AMD 首席科学家。这次她系统讲了自己团队近来的工作和对行业的判断,还把 AMD 苏妈请上台做了一场对话圆桌。某种程度上,这算是她的「AMD 首秀」。
开场介绍由她的学生、本届 CoRL 组织者之一 Yuke(朱玉可)来做。他提到一个细节:毕业典礼上李飞飞对他说,「你在我的实验室时是我的学生,但从今往后,你是我的朋友。」
演讲真正的主角,是 World Labs 与斯坦福团队做出的新模型
Atlas——一个统一的生成与重建世界模型。
以下为 AI 科技评论在现场记录的实录。
▎《Atlas:A Unified World Model for Generation and Reconstruction》
▎分享者:李飞飞
能受邀来 CoRL 我特别荣幸,何况好几位组织者都是我以前的学生。你们做得很好,我这么说是有依据的——我不少论文和工作坊提案都被你们拒了。(全场笑)向 CoRL 致敬。
今天要讲的是我们实验室最近做的一个模型,名字叫 Atlas:一个统一的生成与重建世界模型。

既然站在 CoRL 的讲台上,那就先从机器人学的动机说起。
机器人领域近来变动不小。可无论采用哪种方法,机器人要回答的根本问题还是那个:世界状态已知、目标已知、机器人已知,每个时刻下一步该做什么?

归纳起来,机器人得解决几件事。首先是对世界状态的理解与表示——用隐式还是显式可以商量,但「理解」这件事本身绕不过去;其次是预测动作会带来什么后果,并据此做规划。

还有一个绕不开的是数据。机器人是典型的长尾问题,能成功部署的场景极其有限,于是大家总想尽量多模拟出各种环境,用它们补足真实数据,拿去训练和评估。
方法怎么变,这三个问题在机器人学里都还是重要的。巧的是,它们正好对上世界模型要处理的事:理解环境,对应渲染;预测动作后果,对应规划;模拟世界状态,对应仿真。

渲染、规划与仿真:世界模型的三个维度
我不想把它们说成彼此完全独立。实际上,这三者在很多层面能统一起来、互相衔接,而这些正是该领域最前沿也最让人兴奋的方向。
今天专门讲的 Atlas,主要处理的是渲染和仿真,尤其是把世界的几何结构以及 3D/4D 动态模拟出来。
简单说,Atlas 是从零训练的自回归基础模型,只有单一模型,输入可以是多模态的——文本、图像、视频、深度信号、灰度框(graybox)或 3D 结构信号。它输出像素帧;产出的帧不只在时空上好看,还能合成新视角,由此完成高精度、高保真的 3D 重建。

Atlas:聚焦于渲染和仿真
先回头看看历史。
计算机视觉里有两个极重要的问题,研究者们花了几代人的时间去弄明白。
其一是 3D 重建。从经典的「Building Rome in a Day」到后来 NeRF 一类神经渲染工作,核心问题都是:拿到不同相机位姿下的图像,造出一个符合真实世界的 3D 世界。多数方法要求大量带位姿的图像;位姿覆盖不够的地方,重建结果就充满不确定性。

经典三维重建存在的问题所在
生成式AI是另一条路径。扩散架构在探索多视角生成时有其天然优势,让"生成+重建"这条路越走越近。此前已有不少工作尝试对多个视角联合去噪,以维持空间一致,可整体效果有限:空间一致性很难守住,每次去噪又只对固定的目标视角起作用,算力开销大,实时运行做不到。

经典三维重建在保持空间一致性上很吃力。
一旦切换视角或要求实时跑起来,计算成本就高得难以承受。
Atlas接着这条思路往下走,想用一套模型架构、一套训练配方,把生成和重建装进同一个屋檐下。
具体做法从一个极端开始:给多张图像,Atlas就做重建;图像足够多时做稠密重建,场景恢复得很好。另一个极端是零像素条件,只给一句文本提示,Atlas转入纯生成,产出多帧视角一致的图像。
两端之间的事Atlas也能做,团队把它叫作稀疏重建:只给极少量视角,最极端时仅一张图,Atlas先估计相机位姿,再生成尽可能多的视角,把完整世界重建并生成出来。稠密重建、稀疏重建、纯生成,在同一个模型里自由切换。

看个例子。
在场应该有人认得,这是斯坦福校园里著名的主广场(Main Quad)。只给两张有限的图像,模型"幻觉"出一个主广场。熟悉斯坦福的人看得出,这不是真的主广场,只是"神似":拱廊的影子还剩一点,大部分是生成出来的。

给8张图,效果好了不少。相对这么大的空间,8张图已经非常稀疏,但它基本给出了整个广场的全貌,只是著名的纪念教堂没出现,因为输入图像里没有它。
最后是33张图,总体上依旧很稀疏,不过其中一张拍到了纪念教堂,Atlas于是基本重建出漂亮、完整的斯坦福主广场。
还有一点要说:这33张图都是在地面上拍的,就是一个人拿着相机走了一圈,可我们生成出了完全不同的视角,包括现在你们看到的这个航拍视角。
Atlas的技术洞见是什么?就是大家都听过的下一token预测。
团队的说法是,视角即一切(Viewpoint is all you need)。在强相机条件下预测下一个视角,这就是目标函数。架构上,它是一个多视角自回归扩散Transformer。
因此Atlas能做这些事:输入文本,生成带相机位姿的图像;输入图像,估计位姿,再基于输入生成更多新位姿的图像;接收多视角输入,沿不同相机路径在视角之间插值和外推,恢复3D场景;还能接收深度图或灰度框,输出RGB像素,这在不少机器人和游戏场景里很有用。

Atlas在生成和重建两方面的能力都很强。
下面看一些量化结果。
几天前,一家我们事先并不知情的第三方机构做了盲测,用约50万次人工判断,比较多个最先进视频模型的相机控制生成能力(测评机构为Rapidata),Atlas排在榜首,领先第二名明显。
Atlas能生成超过60秒、视角一致的视频。

我特别想对比一年半前的上一代模型:那时生成范围和几何一致性都很有限,有人批评说:"你们做的不是世界模型,是closet models(秘密不公开的,类似于被关在橱柜里的模型)。"(全场笑)

现在,我们已经从"橱柜"走进了大得多的世界。
这是个有意思的生成例子:Atlas能接收两张毫不相干的图像,估计出合理的相机位姿,再补全场景其余部分,造出一个融合两处场景的奇幻世界,很适合创意应用。还有这个:给Atlas灰度框输入,它就能据此生成一个完整精美的大世界,对机器人、设计和创意工作都很有用。
重建这块,团队把Atlas和专门的3D重建模型放在一起比:深度预测任务横跨7个数据集做测试,结果Atlas连近期最先进的专用3D重建与深度预测模型都压了过去。


Atlas本身不必用高斯泼溅(Gaussian Splatting)做表示,但如果在后面接上它,我们在6个数据集上与专用模型比较高斯泼溅重建误差,Atlas同样达到很强的SOTA水平。我们还调节输入视角数量,让稀疏重建平滑过渡到稠密重建,两个数据集上都表现很好。
看几个例子。这是3D重建社区很著名的一套公寓:只给8张图,Atlas就重建出这个相当大的公寓,各种视角都能采样,人对相机有完全的控制。还有一个"单图升维"的例子:一张输入图,得到一个高斯泼溅世界,一个非常漂亮的奇幻空间。
这个例子里,模型不光生成场景,还生成深度信息,艺术家因此能精确控制相机方向,得到想要的运镜效果。
说到好玩的应用,还有一个绕不开的例子——“子弹时间”(Bullet Time)。《黑客帝国》里那个经典镜头,当年动用了数百台相机阵列去捕捉时空动态。如今在办公室里临时架起3台iPhone,Atlas就能把这个时空动态场景重建出来,子弹时间的效果相当漂亮。
另一项进展发生在最近:模型已被蒸馏到实时运行,达到15fps。现场播放的画面,是有人实时“驾驶”Atlas、实时生成的录屏,保真度和视角一致性都很好。
(编者注:多视角自回归扩散,再加上 15fps 的实时生成,对底层算力的吞吐能力提出了多高的要求,不用多说。演讲一结束,李飞飞和 AMD CEO 苏姿丰就在随后的对话里,围绕世界模型与底层算力怎么配合聊了不少,实录见今日次条。)
机器人仿真也是Atlas的潜在落点,目前正在测试。一条路是训练导航机器人,另一条是把真实世界接入仿真、再回到真实的机器人操作。这些机器人只在仿真的虚拟世界里训练,却能零样本部署到真实世界。我们正结合Atlas把这项工作往深里推。
Atlas可以给机器人重建空间,提供仿真环境
我们的X账号可以关注一下,这个工作的首映很快就能看到,我保证视频很棒。创作者想实现自己的创作梦想,用Atlas就能做到——精确的相机控制、物体交互和实时导航都在里面。Atlas很快会向全世界开放,敬请期待。
最后打几个广告。斯坦福BEHAVIOR挑战赛今年已是第二年,明天公布获奖者,今年很激动人心,包括生成式AI在内的新方法不断涌现。另外,我有很多学生很努力才进入CoRL,我们有6篇论文,World Labs团队和斯坦福学生团队为这些研究付出了很多。
谢谢大家。雷峰网
▎后记:
演讲到这里就结束了,主题是《一个统一的生成与重建世界模型——Atlas》。之后,李飞飞与 AMD CEO 苏姿丰(Lisa Su)又坐下来做了一场炉边对话,话题涉及算力、机器人,还有“这个时代最大的失误”。这是 AMD 收购 World Labs 之后两人第一次同台,不过那属于另一段故事,下一篇推文再讲。