李飞飞World Labs推Frameboy：世界模型实时生成可玩画面

今天，做AI的那群人玩起了游戏。

李飞飞创办的World Labs上线了自家首个「应用」Frameboy。画面由AI实时生成，第一人称视角，生成式AI就此变成能亲手探索的东西。

Frameboy基于Atlas世界模型，是一个优化过的演示版本。它靠云端GPU流式传输，帧率最高15 fps。实测模型响应时间约70ms，跟云游戏已经差不太多。

体验链接：https://frameboy.worldlabs.ai/

眼下能探索的是精选场景，真实世界风景、赛博朋克空间、斯坦福大学校园都在其中。这些环境有两种来路：一种从单张图片起步，让Atlas补出别的视角，一点点长成可探索的空间；另一种是同一地点输入多张照片，由模型生成照片之间以及照片之外的新视角。

World Labs还把Frameboy接进了beta版网络应用Viewfinder，作为流媒体覆盖渲染模式。用户拿自己的输入逐帧搭场景，随后在实时中探索、扩展这个虚拟世界。

操作起来跟扛摄像机差不多：从不同视角导航，生成3D一致的世界视图。每一帧都由Atlas产出，带颜色和深度信息。准备好之后，用户唤出Frameboy叠加层，探索时生成的帧就实时播放出来。

Atlas：一张照片如何推出一个三维世界

Frameboy这次实时演示到底意味着什么？得先看它背后的Atlas是什么。

今年9月1日，李飞飞创立的World Labs正式发布Atlas。这是一个从头预训练的通用世界模型，文字、图像、视频、三维空间信息都能处理。视频模型主要生成连续画面，Atlas要解的题更难：摄像机挪到别处，眼前的世界该长什么样？

发布时World Labs给了一个很直观的例子。

研究人员先给Atlas一张花园照片，让它生成从空中俯瞰该区域的画面。原图只拍到花园的一部分，模型重现了已有景物，周围的房屋和环境只能自己猜。

接着研究人员补上第二张照片，拍的是花园旁的一座小屋。这回Atlas生成的画面里花园和小屋都在，更远处的建筑仍由模型补全。等第三张照片进来，拍到附近的主屋，整个场景才被重建得更贴近真实环境。

这个过程说明Atlas有个重要特点：有限的图像能拿来重建已观察到的空间，训练里学到的世界知识也能用来推测镜头之外有什么。

World Labs把核心机制叫作「空间上下文」（Spatial Context）。

说白了，Atlas不光认得出图里有哪些物体，还会把每张图跟摄像机在三维空间中的位置、朝向挂上钩。用户指定新的观察位置，模型就依据已有空间信息，生成该位置应看到的画面。

这也是Atlas和普通视频生成模型的一大差别。后者靠「向左移动镜头」「绕着人物旋转」这类文字描述控制运镜；Atlas直接接收精确的摄像机位置和角度，观察世界的视角由用户明确指定。

技术架构上，Atlas用的是多模态自回归扩散Transformer，把语言模型和扩散生成模型的思路合到一起：文字、图像、摄像机位姿、深度信息先组织成统一的空间上下文，再一步步生成新画面和空间数据。

最初的演示里，用户已经能预先设计摄像机路径，让Atlas生成最长一分钟、最高1440p分辨率的视频，镜头之间尽量维持场景一致。

不过Atlas能做的并不限于生成视频。

图像和深度信息它可以同时生成，还能输出点云、3D Gaussian Splatting（三维高斯泼溅）等三维表示。也就是说，模型除了给出某个角度的画面，还能产出供三维渲染、空间重建等流程使用的数据。

比如研究人员用三到五部普通手机加运动相机，从不同角度拍同一场景。Atlas据此重建空间，用户能在动作发生的同一时刻切换观察角度，做出类似电影《黑客帝国》里「子弹时间」的效果，传统的大规模多机位拍摄系统可以省掉。

机器人仿真也是一个方向。研究人员用手机视频记录真实环境，再让Atlas重建空间，生成机器人沿不同路线移动时，机载摄像头可能看到的画面和深度数据。少量真实记录就能搭出机器人模拟环境，这是条新路子。

Frameboy出来之后，基于世界模型的创作方式变了：边移动边观察，下一步边走边定。电影勘景、空间概念设计、游戏关卡构思，都用得上这种体验。

参考内容：https://www.worldlabs.ai/blog/atlas-realtime