李飞飞最新 CoRL2026 演讲实录:从「橱柜模型」到世界模型,机器人需要什么样的 AI ?
时隔两年,World Labs 的工作已经完全不同了。

这届请来的演讲者里,李飞飞是个绕不开的名字。斯坦福教授、ImageNet发起者、World Labs创始人。就在CoRL开幕前,World Labs被AMD收购的消息已经在圈内传开,她也将出任AMD首席科学家。这次在CoRL现场,她除了系统介绍World Labs近期的工作和自己的行业判断,还拉上AMD苏妈做了一场对话圆桌。某种意义上,这算是她的“AMD首秀”。
给她做开场介绍的是学生Yuke(朱玉可),也是本届CoRL组织者之一。他提到一个细节:毕业典礼上,李飞飞跟他说,“你在我的实验室时是我的学生,但从今往后,你是我的朋友。”
演讲真正的主角,是World Labs与斯坦福团队做出的新模型Atlas:一个统一的生成与重建世界模型。
以下为AI科技评论带来的现场实录。
▎《Atlas:A Unified World Model for Generation and Reconstruction》
▎分享者:李飞飞
很荣幸能来CoRL,尤其是有好几位我以前的学生都在做组织者。你们干得不错,我知道,因为我不少论文和工作坊提案都被你们拒了。(全场笑)向CoRL致敬。
今天要讲的是我们实验室最近开发的模型Atlas,一个统一的生成与重建世界模型。

既然站在CoRL,就先从机器人学的动机说起。
机器人领域近来变化不小,可方法再怎么换,机器人终究要回答一个根本问题:世界状态定了、目标定了、机器人也定了,每一时刻下一步该干什么?

大体上,机器人要解决几件事:其一,理解和表示世界的状态,用隐式还是显式可以讨论,但“理解”本身很重要;其二,预测有后果的动作,并据此规划。雷峰网

还有数据,这永远是个难题。机器人是典型的长尾问题,成功部署极其受限,所以总希望能尽量多地模拟不同环境,把真实数据补起来,用于训练和评估。
不管用什么方法,这三个问题在机器人学里依然重要。它们恰好对应世界模型要解决的问题:理解环境,对应渲染;预测动作后果,对应规划;模拟世界状态,对应仿真。

渲染、规划与仿真,世界模型的三大维度
我并不想教条地说它们彼此完全独立。实际上,很多方面它们可以统一、可以衔接,这些正是这个领域最前沿、最让人兴奋的方向。
今天专门要讲的Atlas,主要解决渲染和仿真问题,尤其是模拟世界的几何以及3D/4D动态。
简单说,Atlas是一个从零训练的自回归基础模型,单一模型,接收多模态输入,文本、图像、视频、深度信号、灰度框(graybox)或3D结构信号都行。它输出像素帧;不光生成时空上漂亮的帧,还能合成新视角,从而实现高精度、高保真的3D重建。

Atlas:聚焦于渲染和仿真
先回顾一点历史。
计算机视觉有两个非常重要的问题,研究者们花了几代人的时间去理解。
3D 重建是第一个难题。无论是早年的“Building Rome in a Day”,还是近来的 NeRF 神经渲染,说到底要解决的都是同一件事:拿到不同相机位姿下拍到的图像,还原出一个与真实世界相符的 3D 世界。现有方法大多依赖数量充足的带位姿图像;一旦位姿覆盖不够,那些没被覆盖到的区域重建出来就带着很大的不确定性。

经典三维重建的问题所在
生成式AI是另一条路径。扩散架构本来就适合做多视角生成,这让"生成+重建"的结合越来越可行。此前也有不少研究尝试把多个视角放在一起去噪,以维持空间一致,可结果普遍不理想:一致性很难守住,每次去噪又只对应一个固定目标视角,算力开销大,实时跑不起来。

经典三维重建的两大短板正在这里:空间一致性难以维持;一旦要换视角或者实时运行,计算成本就高得吃不消。
Atlas沿着这条路线往前走,目标是用一套模型架构、一套训练配方,把生成和重建装进同一个框架。
具体做法分两头看。一头是多图输入:给Atlas多张图像,它做重建;图像足够多,就做稠密重建,场景恢复得相当好。另一头是零像素条件:只给一句文本提示,Atlas做纯生成,输出多帧视角一致的图像。
两端之间还有一件事,团队称之为稀疏重建:只给极少量视角,极端情况下一张图,Atlas先估计相机位姿,再生成尽可能多的视角,把完整世界重建并生成出来。稠密重建、稀疏重建、纯生成,在同一个模型里自由切换。

看个例子。
台下应该有人认得,这是斯坦福校园里著名的主广场(Main Quad)。只给两张图,模型"幻觉"出一个主广场。熟悉斯坦福的人一看就知道,这不是真的主广场,神似而已:拱廊的影子还有一点,大部分是生成的。

输入8张图,效果就好了很多。相对于这么大的空间,8张图已经非常稀疏,但广场的全貌基本出来了,只是著名的纪念教堂不见了——输入图像里没有它。
再看33张图。这个数量总体上依然很稀疏,不过其中一张拍到了纪念教堂,于是Atlas基本把漂亮的、完整的斯坦福主广场重建了出来。
还有一点要说明:这33张图全是在地面上拍的,就是一个人拿着相机绕了一圈,但模型生成了完全不同的视角,包括现在屏幕上这个航拍视角。
Atlas的技术洞见是什么?就是大家都在说的下一token预测。
团队的说法是,视角即一切(Viewpoint is all you need)。在强相机条件下预测下一个视角,这就是目标函数。架构上,它是一个多视角自回归扩散Transformer。
由此Atlas能做这些事:输入文本,生成带相机位姿的图像;输入图像,估计位姿,并基于输入生成更多新位姿的图像;接收多视角输入,沿不同相机路径在视角之间插值和外推,恢复3D场景;还能接收深度图或灰度框,输出RGB像素,这在不少机器人和游戏场景里很有用。

Atlas的生成和重建能力很强,下面看一些量化结果。
几天前,一家事先并不知情的第三方机构做了一次盲测,用约50万次人工判断,对多个最先进视频模型的相机控制生成能力进行比较(测评机构为Rapidata)。Atlas排在榜首,领先第二名明显。
视角一致的视频,Atlas能生成超过60秒。

特别想对比一下一年半前的上一代模型:那会儿生成范围和几何一致性都很有限,有人批评说:"你们做的不是世界模型,是closet models(秘密不公开的,类似于被关在橱柜里的模型)。"(全场笑)

现在,团队已经从"橱柜"走进了大得多的世界。
有个生成例子挺有趣:两张毫不相干的图像交给Atlas,它估计出合理的相机位姿,再补全场景其余部分,造出一个融合两处场景的奇幻世界,很适合创意应用。还有这个:给Atlas灰度框输入,它就能据此生成一个完整精美的大世界,机器人、设计和创意工作都用得上。
重建方面,团队拿Atlas和专门的3D重建模型做了对比:深度预测任务跨7个数据集测试,Atlas甚至超过了近期最先进的专用3D重建与深度预测模型。


Atlas本身不必用高斯泼溅(Gaussian Splatting)做表示,但后置接上它,在6个数据集上与专用模型比较高斯泼溅重建误差,Atlas同样达到很强的SOTA水平。团队还调节输入视角数量,让稀疏重建平滑过渡到稠密重建,两个数据集上都表现很好。
看几个例子。3D重建社区很著名的一套公寓:只给8张图,Atlas重建出这个相当大的公寓,各种视角都能采样,相机完全由人控制。还有一个"单图升维"的例子:一张输入图,得到一个高斯泼溅世界,一个非常漂亮的奇幻空间。
这个例子里,模型除了生成场景,还生成深度信息,艺术家因此能精确控制相机方向,得到想要的运镜效果。
再说两个有意思的。影迷都熟悉“子弹时间”(Bullet Time),《黑客帝国》里那个经典镜头,当年靠数百台相机阵列才捕捉下时空动态。如今在办公室里临时架起3台iPhone,Atlas就能把这种时空动态场景重建出来,子弹时间的效果相当漂亮。
还有一项进展:我们最近把模型蒸馏到能实时跑,帧率15fps。屏幕上放的是有人实时“驾驶”Atlas、实时生成的录屏,保真度和视角一致性都很好。
(编者注:多视角自回归扩散加上15fps实时生成,对底层算力吞吐的要求不用多说。演讲结束后的对话环节,李飞飞和AMD CEO苏姿丰正好就世界模型与底层算力的协同深聊了一场,详见今日次条实录。)
另外,Atlas在机器人仿真里也确实有潜在用处,我们正在测试:一边用来训练导航机器人,一边把真实世界接进仿真、再回到真实的机器人操作。这些机器人只在仿真的虚拟世界里训练,却能零样本部署到真实世界。这方面的工作我们正结合Atlas往深里做。
Atlas能为机器人重建空间,提供仿真环境
大家可以盯一下我们的X账号,这项工作的首映很快就能看到,我保证视频很精彩。创作者能用Atlas把创作梦想落地,相机控制、物体交互、实时导航都能精确做到。Atlas很快会向全世界开放,敬请期待。
最后打几个广告。一个是斯坦福BEHAVIOR挑战赛,今年办到第二年,获奖者明天公布。今年很有看头,包括生成式AI在内的新方法都冒出来了。
还有,我很多学生费了不少劲才进到CoRL,我们一共有6篇论文,World Labs团队和斯坦福学生团队在这些研究上投入很多。
谢谢大家。
▎后记:
以上是演讲全文。这场题为《一个统一的生成与重建世界模型——Atlas》的演讲结束后,李飞飞还和AMD CEO苏姿丰(Lisa Su)做了一场炉边对话,聊算力、聊机器人,也聊到“这个时代最大的失误”。
这是AMD收购World Labs之后两人第一次同台,不过那是另一个故事,下一篇推文再讲。