李飞飞World Labs发布Frameboy:网页实时漫游Atlas世界
《科创板日报》11月6日(编辑 宋子乔) 当地时间11月5日,“AI教母”李飞飞创办的World Labs推出研究预览Demo Frameboy,将旗下自回归世界模型Atlas推向实时漫游交互阶段。这也是World Labs宣布加入AMD后交出的第一份答卷。当地时间9月28日,AMD官宣收购该AI实验室的意向,这笔全股
当地时间11月5日,李飞飞创办的World Labs推出研究预览Demo Frameboy,把自家的自回归世界模型
Atlas推进到实时漫游交互阶段。李飞飞素有“AI教母”之称。《科创板日报》11月6日刊发相关报道,编辑为宋子乔。
这也是World Labs宣布加入AMD之后交出的第一份答卷。当地时间9月28日,该公司公布这一动向。
作为预览版工具,Frameboy用来实时探索Atlas模型构建的世界,World Labs称其为“实时版Atlas”。演示采用复古掌机界面(见下图),用户打开浏览器,就能像操控游戏一样,在单张图片衍生出来的三维空间里自由游走。
Atlas模型发布于9月2日,被称为“全球首个多模态世界模型”。它的底层创新是用“空间上下文”(Spatial Context)替换“文本上下文”,仅靠单张图片或者文本提示就能从零生成完整场景,同时保留并强化新视角合成能力:既能基于单张图片虚构三维空间,也可依据少量多视角实拍素材复现真实地标环境。
按照World Labs的说法,Frameboy的实时体验相当顺滑:画面由云端高性能GPU不断以流式推送,帧率最高能到15帧每秒(fps)。只要给模型一张参考图,它就会持续把各个新视角补全,让场景的三维一致性保持住。
这套实时能力其实早已接进World Labs的网页创作工具Viewfinder,该产品眼下还在封闭测试。在Viewfinder里,用户可以逐帧搭出自己的场景,生成带色彩和深度信息的画面;场景搭好后,直接调出Frameboy叠加层,就能在自己建的世界里实时漫游,相机动到哪里,未知视野就即时推演到哪里。影视勘景、游戏关卡概念设计、工地数字化巡检、机器人仿真这些方向,有望靠它做原型验证。
不过,作为研究预览版本,Frameboy的短板同样清晰。研究团队直言,目前Frameboy必须在云端强大的GPU服务器上运行,与本地渲染方法相比成本较高。
不过,15帧每秒这个上限,离游戏级交互还差得不少;镜头快速移动时间一长,画面稳定性就会往下掉。官网上能自定义场景的入口不多,公开Demo大多只能玩预设场景,普通用户想自由上传素材、生成可漫游世界,这条路还没开放。说到底,它离面向大众的成品还有很长一段路。