李飞飞World Labs发布Frameboy:单图实时生成3D世界,最高15帧

资讯 腾讯网 作者:腾讯网 全文 2512 字 · 约 7 分钟读完 分类模型发布世界模型视频生成

点下生成按钮,然后对着转圈的进度条干等好几分钟。过去玩 3D 世界模型或者视频生成的朋友,估计都被那种漫长的渲染折磨得没脾气了。 就在今天,李飞飞创办的 World Labs 发布了一款名....

所属频道 模型发布视频图像生成
以前玩3D世界模型或者视频生成的人,大概都尝过那种滋味:点下生成按钮,盯着转圈的进度条干等好几分钟,渲染慢得让人没脾气。
李飞飞创办的World Labs今天发布了一款研究预览版Demo,名字叫Frameboy。它把自家的自回归世界模型Atlas直接带进了实时交互时代。
官方博客🔗 https://www.worldlabs.ai/blog/atlas-realtime
玩法不复杂:打开浏览器,云端GPU就把画面实时串流过来,帧率最高15 fps。镜头可以像打游戏一样自由操控,在单张图片生成的3D世界里随便溜达。
走错方向、试了个烂点子,试错成本也几乎归零——鼠标一划,换个角度接着探索就行。
更有意思的是,此次更新也是今年9月底

把世界模型装进复古掌机,单张图实时跑出15帧

要把这次更新看明白,得先提一嘴两个月前刚亮相的Atlas。
那会儿Atlas最大的卖点是逐帧生成画面,相机视角控制能精确到像素级。拿一张图脑补出虚拟3D世界,或者用几张多视角照片还原真实地标、去建筑工地看进度、给电影勘景,这些它都能干。作为一个自回归世界模型,这套本事在当时就挺扎眼。
但问题也很现实,就是太慢了。
每调整一下机位,都得等上几十秒甚至好几分钟才能看到渲染结果。创作者搭场景、规划运镜时就会变得束手束脚,每次按生成键都像在开盲盒。
为了缓解世界模型漫长的生成等待,团队对Atlas做了深度推理优化,并推出搭载这一优化版模型的实时交互Demo Frameboy。复古掌机式的设计,让人很容易联想到经典的Game Boy。
画面生成速度提升到最高每秒15帧之后,用户已经明显感觉不到点击生成那个割裂的动作了。
在浏览器里推拉摇移相机,云端就会源源不断地把新视角的画面实时推流到屏幕上。
官方放出的客厅对比演示里,过去用慢速模型得手动反复迭代:用户要在房间里小心挑出四个关键帧机位,点下生成后干等视频出炉,一看角度不对又得拖拽重试,如此折腾好几轮。
而在Frameboy的实时模式下,你直接开着虚拟相机在房间里转圈就行,视野所及之处,画面同步实时更新。
如果熟悉World Labs去年的研究预览项目RTFM,可能会觉得复古掌机形态有点眼熟。
不过,当年那个帧生成模型是轻量级的,如今的Atlas在模型规模上大出一大截,吃进的数据量也多出好几个数量级,能力边界已全然不同。
去年的RTFM基本只能在已有几个视角之间做插值过渡;现在的Atlas不同,哪怕只给它一张静态图片或一段文字描述,它也能从零把周边整个场景脑补出来,再放进Frameboy的空间上下文里供人交互探索。
多视角新视图合成这项能力也被完整保留并做了升级:只要输入几张真实世界名胜古迹的多角度照片,浏览器里就能直接来一场赛博实景漫游。

上传图片,亲手搭个3D游乐场

光在官方预设好的几个场景里逛,显然还不够过瘾。
World Labs还把实时串流能力装进了自家网页端应用Viewfinder,做成实时渲染叠加模式,好让用户亲手搭出自己的3D世界;该模式眼下处于封闭测试阶段,候补名单申请已经开放。
在Viewfinder里,用户能把自己上传的图片当作起点,操作虚拟相机一步步向外走,一帧一帧把整个3D空间搭起来。
Atlas每生成新的一帧,都会同步输出色彩与深度信息,帮你在视觉上对齐整个三维空间结构。
场景主体大致摆好之后,一键唤起 Frameboy 叠加层,原先还在逐帧搭建的静态工程立刻转为实时串流的 3D 游乐场。
团队对未来的定位说得很明白:让 Atlas 这类世界模型充当下一代的生成式渲染器。
不过官方博客在结尾也没绕开眼下的算力门槛。
现在 Frameboy 只能跑在云端的高性能 GPU 服务器上。跟传统本地渲染相比,这套方案的成本实在谈不上便宜。
可翻一翻计算机图形学的历史,几乎每项颠覆性技术刚出来时都又慢又贵。硬件底子和软件算法一起往前走,今天云端实验室里昂贵的玩具,早晚会变成白菜价的普及工具。

550 亿联姻苏姿丰,加速贴近底层硬件

软硬协同降本提速这件事上,如今的 World Labs 算是找到了最合适的靠山。
就在一个多月前的 9 月 28 日,芯片巨头 AMD 官宣了一笔重磅收购协议:拟以 82 亿美元的全股票交易,把成立仅两年的 World Labs 收入囊中。
这笔交易预计今年底完成交割,直接创下 AMD 历史上仅次于赛灵思的第二大收购纪录。
算起来,这家总部位于旧金山、由李飞飞与 Justin Johnson、Ben Mildenhall、Christoph Lassner 联合创办的明星独角兽,前一轮融资时的估值还是 50 亿美元。
按收购安排,交易完成后李飞飞将正式出任 AMD 执行副总裁兼首席科学家,直接向苏姿丰汇报;原有研发团队完整保留,继续由 Justin Johnson 和 Ben Mildenhall 带队死磕空间模型与物理 AI。
当时外界还在讨论:一家卖芯片的硬件大厂,为什么要花 550 亿人民币去买一支研究 3D 世界模型的算法团队?
如今结合 Frameboy 对极致推理速度的渴求来看,两边的考量就再清晰不过了。
对苏姿丰来说,大语言模型之后的下一个必争之地,是涵盖机器人仿真、空间理解与三维重建的物理 AI。
收下 World Labs,AMD 就能在第一时间摸清下一代世界模型的真实算力负载特征,反过来指导自家 GPU 架构、AI 芯片和 ROCm 软件栈的路线规划,在机器人与空间计算赛道跟英伟达正面掰手腕。
而对李飞飞团队来说,就像她在收购公告里所言,下一代 AI 需要模型研究、系统与算力的紧密协同。
实时世界模型过去部署在云端,GPU 开销高得让人肉疼;现在他们跟自家芯片团队一起紧贴硬件和底层算子做优化,实时生成式 3D 渲染要真正进到普通用户的终端设备里,这一步迈得比之前实在多了。
本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. Sand.ai十个月融资3亿美元跻身独角兽,MAGI-2正式版即将发布

    全球首个将视频生成模型扩展至千亿参数规模并开放模型权重的团队。本文为IPO早知道原创作者|Stone Jin微信公众号|ipozaozhidao据IPO早知道消息,Sand.ai (三呆科技)日前完成2亿美元A+轮融资。值得注意的是,这是其今年完成的第三轮融资,10个月内累计融资额达3亿美元,本轮融资后正式跻身独角兽行

    来源 腾讯网
  2. 百度Apollo World:无人车一天虚拟路测10万公里,相当于真车跑三年

    编辑|杜伟无人驾驶的世界已经这么疯狂了吗?无人车除了在真实道路上接受测试,如今还可以进入 AI 构建的虚拟城市,一天完成 10 万公里的虚拟路测。在这里,前车可能突然刹车,旁边车辆随时准备并线,行人也可能从遮挡处出现。无人车观察周围情况,判断下一步怎么走。它一旦减速、加速或变道,周围车辆和行人也会随之改变行动。11 月

    来源 腾讯网
  3. 谷歌推Gemini Omni 1.2 Flash:15秒视频可对话编辑,价格降30%

    谷歌周四正式推出视频生成模型Gemini Omni 1.2 Flash,支持原生15秒视频生成和多轮对话编辑,720p视频生成价格降至每秒0.07美元,较上一代降低30%。模型通过Gemini API、Google AI Studio、Flow等多个渠道陆续推出,生成视频带SynthID水印。

    来源 凤凰科技
  4. VAST开放核心模型权限,让实习生参与定义3D与世界模型

    AI公司VAST发布V·STAR人才计划,打破传统校招限制,允许年轻研究者直接参与3D生成基础模型和世界模型的核心研发。文章通过Tripo P系列和EdenLive的技术演进,展示了该公司如何通过解耦拓扑生成与状态维护,解决AI从“生成内容”到“构建可交互世界”的关键难题,并探讨了高人才密度环境下,年轻人如何获得定义技

    来源 AI 应用前沿
  5. 连续 2 小时 40 分钟纯代码生成 66 秒动画,Anthropic 新旗舰 Fable 5.5 实测曝光

    北京时间 11 月 4 日消息,Anthropic 尚未正式发布的下一代旗舰模型 Claude Fable 5.5 近日在海外开发者社区引发关注。多名开发者在社交平台 X 上分享了据称来自该模型的早期测试结果。其中,一段完全通过编程生成的 66 秒动画短片尤为引人注目。测试者称,模型在没有调用图像或视频生成工具的情况下

    来源 AI 行业观察
  6. GPT Images 2.6 发布:生成提速50%,还能用文字生成GIF

    猝不及防。 就在刚刚,OpenAI 正式发布新一代图像生成模型 Images 2.6,并同步向 ChatGPT、Codex 和 API 开放。 此次升级带来了几项重要变化。 一是图像生成速度提升 50%,二是支持通过文字提示词生成 GIF 动图,三是进一步改善多轮编辑的一致性,让 AI 生图开始更接近专业设计素材的生产

    来源 AI 开发者社区
  7. 百度文心发布ERNIE-5.5-Flash-Base:280B参数,开放预训练权重

    IT之家 11 月 5 日消息,百度文心大模型今日发布 ERNIE-5.5-Flash-Base,开放 ERNIE 5.5 Flash 预训练终点的权重。 这是一个稀疏 MoE 语言模型,总参数 280B,每 token 激活 14B,在 33.5T tokens 上从零完成预训练;最长训练上下文为 128K,微调与推

    来源 AI 行业观察
  8. OpenAI自动化漏洞系统:复现1724个漏洞,生成948个提权利用

    当地时间11月4日,OpenAI发布安全研究报告称,其利用一款即将推出的网络安全模型,构建了自动化漏洞发现、验证、利用及修复流程。在2026年10月的一次测试中,该系统从2308个候选漏洞中动态复现1724个,并生成948个可使普通本地用户获取系统最高权限的Linux内核提权漏洞利用程序,整个过程消耗约121万美元AP

    来源 腾讯网
  9. OpenAI图像模型升级:一句话生成GIF,还提速50%

    OpenAI发布Images 2.6,ChatGPT支持一句话或一张照片生成循环GIF,并可调速度、改单帧,新模型整体提速50%且价格未涨。文章认为,当修图、排版、格式转换等功能被收进模型,靠单点功能收费的AI图像工具公司将受冲击,美图、Canva、Adobe均被提及。

    来源 凤凰科技
  10. Gemini-4-Argon登顶SuperCLUE总榜,Kimi-K3.1-Pro居国内首位

    【TechWeb】11月5日消息,中文大模型测评基准SuperCLUE发布2026年11月通用大模型测评榜单,Google闭源模型Gemini-4-Argon以73.62分位列总分第一,月之暗面开源模型Kimi-K3.1-Pro以61.46分位居国内模型首位。 本次测评共有19个国内外模型参与,测评集覆盖智能体编程、数

    来源 AI 行业观察
  11. OpenAI上线Images 2.6:出图快50%,新增GIF生成

    当地时间11月4日,OpenAI发布图像生成模型Images 2.6,现已面向全球用户开放,支持在ChatGPT、Codex及API中使用。该模型图像生成速度较上一版本提升50%,并增强了多轮编辑中的细节控制和角色、产品及品牌元素一致性。Images 2.6新增GIF生成功能,可将静态图像、角色或产品视觉转化为循环动画

    来源 腾讯网
  12. MiniMax H3开源模型走红:英伟达、Pika先后接入并谈授权

    智东西(公众号:zhidxcom)作者 | 江宇编辑 | 漠影硅谷AI公司,开始站在中国开源模型的肩膀上造模型了。最近,出手的不仅有英伟达的技术团队,还有美国AI视频明星公司Pika。它们不约而同地选择了同一个中国视频模型——MiniMax H3。英伟达相关技术团队基于MiniMax开源的视频模型H3,将低分辨率视频再

    来源 腾讯网
  13. 英伟达破局 AI 内存瓶颈:HBM 仅增约 3%,每美元智能体吞吐量最高提升 30 倍

    IT之家 11 月 6 日消息,英伟达昨日(11 月 5 日)发布技术解读,指出随着大模型参数规模、上下文长度和智能体应用快速增长,GPU 显存正面临前所未有的压力,HBM 供应趋紧、价格上升,在可以预见的未来仍将持续。 为了破解当前 AI 内存瓶颈,英伟达探索引入了“全栈协同设计”理念,将 GPU、CPU、网络、存储

    来源 AI 行业观察
  14. 可灵 AI 宣布 Kling 4.0 Flash 全面开放,深度融入专业影视工作流

    人工智能视频生成领域迎来重要进展。可灵 AI 官方正式宣布,备受瞩目的 Kling4.0Flash 现已面向全球所有用户全面开放。作为面向高频创作与高性价比需求打造的核心版本,该模型不仅支持通过官方网站与 API 进行调用,更进一步打通了多维接入生态,全面赋能广大创作者的日常视频生产。 多端接入与专业软件生态深度融合

    来源 AI 开发者社区
  15. OpenAI新模型或周五亮相:Astra、Sol与Cyber三线齐发

    据《The Information》报道,OpenAI 最快于当地时间 11 月 6 日发布 Astra、Sol 系列及网络安全 Cyber 模型,具体型号、定价和基准成绩尚未公布。此前 Codex 用量统计中已出现“gpt-6.2-astra”标识,灰度用户反馈物理效果和动画生成有所提升。#OpenAI# #GPT6

    来源 IT之家
  16. NVIDIA 全栈协同设计破解 AI 内存瓶颈

    IT之家 11 月 6 日消息,英伟达昨日(11 月 5 日)发布技术解读,指出随着大模型参数规模、上下文长度和智能体应用快速增长,GPU 显存正面临前所未有的压力,HBM 供应趋紧、价格上升,在可以预见的未来仍将持续。为了破解当前 AI 内存瓶颈,英伟达探索引入了“全栈协同设计”理念,将 GPU、CPU、网络、存储和

    来源 腾讯网
  17. 华为小艺Work上线openPangu-2.1-Pro,主打鸿蒙任务增强

    IT之家 11 月 5 日消息,华为云 11 月 1 日发布公告,MaaS 模型即服务平台将于 2026 年 11 月 6 日停止销售 openPangu-2.0-Flash 和 openPangu-2.0-Pro 两款模型服务,并于 11 月 30 日 00:00 正式下线。不过华为官方表示,openPangu 系列

    来源 AI 行业观察
  18. 决策模型走红:AI从生成内容转向毫秒级判断

    9月中旬,一家名叫TypeSafeAI的初创公司发布了一个叫Jev的模型。它不写文章,不聊天,甚至不输出一段完整的句子。它做的事只有一件:把输入归入预设的选项,返回一个是/否、一个评分、一个概率。就是这样一款“不会说话”的模型,上线数周用户破百万,财富500强中约三分之一的企业开始使用,24天内估值从约2亿美元飙到75

    来源 AI 行业观察
  19. OpenAI发布网络安全模型:够不够用,谁说了算?

    OpenAI发布新的网络安全模型,正值AI实验室保护数字基础设施的能力受到审视。本文梳理该发布的时间背景、可能能力与局限,并分析AI攻防双用途带来的治理难题。结论是:单一模型难以回答信任问题,透明度、独立评测和跨机构协作才是关键。

    来源 AI 科技快讯
  20. 雷军晒小米机器人做家务视频,Xiaomi-Robotics-1支撑长程任务

    小米创办人、董事长兼CEO雷军近日在微博发布视频,展示小米机器人在家庭场景中的最新测试进展。该机器人在小米青年公寓试运营,可完成垃圾清扫、物品分类归位等家务任务,视频中清扫瓜子壳、收拾遗落手机充电器等场景引发网友关注。 这套机器人依托Xiaomi-Robotics-1具身基座模型,搭建完整自动执行系统,实测能够连续运行

    来源 AI 开发者社区
  21. OpenAI或周五发Astra、Sol及Cyber模型,AI安全赛道被看好

    OpenAI最快周五或发布新一代面向网络安全的Cyber等模型据媒体报道,OpenAI最快将于当地时间11月6日(周五)发布新一代Astra、Sol系列大模型,及面向网络安全的Cyber模型。目前型号编号、定价、上下文窗口及基准性能等关键参数尚未公布,上线渠道亦未明确。部分用户已在Codex用量统计中发现"gpt-6.

    来源 腾讯网
  22. 腾讯地图:Agent时代地图如何更友好?

    自ChatGPT发布以来,大模型的能力持续提升,AI应用也开始从回答问题走向理解意图、执行任务。随着Meta的个人智能体Muse的火爆,人们期待中的智能助手,已经有了相对明确的面貌:可以安排一次周末旅行,去主动寻找一家合适的餐厅,或是直接帮自己打上一辆车。这些需求,将地图推到了更重要的位置。AI助手和智能硬件需要准确.

    来源 腾讯网
  23. 英伟达发布Realtime-Bench:GPT-6-Astra实时任务成功率仅44%

    人工智能大模型在文本创作、代码编写和图像生成等静态任务上已经展现出惊人的实力,但在瞬息万变的实时交互场景中,它们的真实表现究竟如何?近日,英伟达携手得克萨斯大学奥斯汀分校(UT-Austin)等顶尖机构正式发布了全新的实时交互任务基准——Realtime-Bench。该基准的诞生,旨在为评估人工智能在动态环境下的综合表

    来源 AI 开发者社区
  24. MLCommons上线Candela:Safety 1.2.1与Jailbreak 1.1可按需跑测

    MLCommons近日发布AILuminate Safety 1.2.1和Jailbreak 1.1两项基准,开发者可通过Candela服务自测AI系统产生有害内容的风险及抗攻击能力。基准由80多家机构共识构建,覆盖12类危害场景,并采用确定性评估器提升准确性。公开结果显示27个系统表现差异显著,开放权重模型从第4到9

    来源 AI 科技快讯
向下滚动自动加载更多