Google DeepMind发布Genie 4:世界模型如何接住Agent的实时指令?

资讯 雷峰网 全文 4568 字 · 约 12 分钟读完 配图 17 张 分类Google游戏视频生成

动态条件注入、因果核验与异步协作的三大技术挑战,暴露出哪些致命的技术死角?

所属频道 大厂动态视频图像生成影视与游戏
拉爆游戏引擎?深度拆解 Genie 4,从视频生成到世界控制,Google 要跨越什么?
动态条件注入、因果核验与异步协作,这三道技术难关背后,藏着哪些要命的技术盲区?

Google DeepMind 刚刚正式推出了新一代世界模型 Genie 4。
它不光能实时生成可交互的环境,这次还有个挺有意思的分工:Genie 4 管生成世界,Gemini 3.8 Flash 管看画面、拆任务,再根据执行情况调整计划。
DeepMind 还演示了 Gemini 4 Argon 搭配 Genie 4 的玩法,让模拟环境里的 Apollo 人形机器人下跳棋。整个过程中,新指令可以不断加进来,后续事件也随之改变。
拉爆游戏引擎?深度拆解 Genie 4,从视频生成到世界控制,Google 要跨越什么?
这就给世界模型提了新的技术要求。以前模型主要靠历史画面和用户操作来生成后续场景,如今还得随时接住 Agent 发来的新指令。
机器人挪动一枚棋子之后,模型一方面要记住棋盘上已经发生的状态变化,一方面要吃透下一阶段的任务,让后面生成的画面跟此前的操作对得上。万一执行失败,Agent 还得从生成的画面里看出异常,改计划、接着干。
任务规划、条件生成和状态核验就这样被塞进了同一个反馈循环,同时也带出三个彼此牵连的问题:动态语言条件怎么约束环境演化,Agent 怎么避免掉进“指鹿为马”的因果幻觉,以及运行速度各不相同的模型,如何在毫秒级延迟下稳定配合。
拉爆游戏引擎?深度拆解 Genie 4,从视频生成到世界控制,Google 要跨越什么?

01

从条件生成到动态干预

要说 Genie 4 的技术变化,得先从自回归世界生成的基本原理讲起。
Genie 3 已经能以 720p 分辨率、每秒 24 帧的速度生成可交互环境。它的做法是自回归:把此前的视觉历史和用户操作当作条件输入,学习环境随时间演化的分布,再靠连续生成维持场景的空间结构和对象外观。
Genie 3 同样支持 Promptable World Events,用户可以用文字改天气、加物体。不过在和 SIMA Agent 的早期实验里,世界模型主要还是依据外部操作来模拟环境变化,任务理解和行动决策仍归 Agent 管。
拉爆游戏引擎?深度拆解 Genie 4,从视频生成到世界控制,Google 要跨越什么?
Genie 4 把这种交互延伸到了持续运行的任务过程中。在 Gemini 4 Argon 的实验里,Argon 能把复杂任务拆成连续步骤,再通过 Interleaved Text Captions 把新的文字条件交错送进生成模型,让环境跟着任务进度改变后续事件,而不必事先把完整的事件序列定死。
从条件概率的角度看,模型生成下一段环境变化时,得同时结合历史视觉信息、控制动作和当前生效的语言条件。动态文字输入会改变生成分布,可也带来了条件生效范围和时间依赖的麻烦。
举个例子,Apollo 机器人完成抓取后,新的文字条件要求它把棋子移到指定位置。这条指令得改变机械臂和相关棋子的后续运动,又不能扰动棋盘上无关的对象。与此同时,机械臂还得延续此前建立的抓取关系,让移动和释放动作自然接上。
这里牵涉到语义条件的局部约束,还有连续事件之间的依赖关系。高层 Agent 能决定接下来执行什么任务,但对象之间怎么交互、动作在物理上怎么保持连续,仍要靠世界模型在生成过程中处理。
实时生成还受自回归计算方式的掣肘。模型没法在每次收到新指令后重新生成全部历史,只能顺着已有上下文继续推演,于是动态条件如何影响内部状态表示,就成了关键。
一种可能的做法,是把对象信息隐含在视觉 Token 和时序特征里,靠自回归上下文延续环境变化。这条路适合处理复杂的连续视觉场景,但对长期对象关系缺少直接约束。
另一种做法是用结构化状态,把对象身份、空间关系和事件结果显式记下来,再拿这些信息当生成条件。这对维护离散任务变量有好处,可结构化状态与视觉特征之间怎么映射、两种表示何时更新,都是要解决的问题。
拉爆游戏引擎?深度拆解 Genie 4,从视频生成到世界控制,Google 要跨越什么?
眼下 DeepMind 还没公布 Genie 4 的完整网络结构,也没说明 Interleaved Text Captions 究竟通过怎样的注意力机制、状态缓存或条件融合方式进入生成网络,所以内部用的是哪种实现,暂时还判断不了。
拉爆游戏引擎?深度拆解 Genie 4,从视频生成到世界控制,Google 要跨越什么?

02

视觉状态不等于任务状态

Gemini 3.8 Flash 在闭环里负责根据 Genie 4 的画面理解任务进展,并规划后续行动。但视频主要呈现的是可观察的运动和外观变化,任务到底完成没有,有时还取决于画面无法直接反映的结果。
拉爆游戏引擎?深度拆解 Genie 4,从视频生成到世界控制,Google 要跨越什么?
DeepMind 此前展示过一个模拟场景:UR5 机械臂用移液器操作实验孔板。机械臂下降、移液器逼近孔位、液体释放、机械臂抬升,单独看能拼成一段完整的操作视频,可这些动作各自对应的任务状态并不一样。
比如移液器到了目标孔位上方,只能说明位置条件也许满足了;液体到底有没有进入指定孔位,还得另找证据。反过来,机械臂已经抬起,液体转移却没发生,Agent 就不能因为动作序列走完了就认定任务成功。
这种判断可以放到部分可观测决策过程的框架里看。Agent 能依靠的只有连续观察,据此估计环境状态;操作结果被遮挡或一时看不见时,它得把不确定性留着,等后续证据来了再更新判断。
落到工程实现上,可以用事件级状态管理,把任务分成执行中、已完成、失败和待确认几类,再按结果条件和置信度门槛决定什么时候切换状态。证据不够,系统就继续观察,或者安排额外检查。不过 Gemini 3.8 Flash 有没有用上类似的状态机或事件核验算法,DeepMind 还没公开。
就算 Agent 能认出任务阶段,生成式环境还埋着一层特别的因果风险:高层任务条件本身,就可能左右模型生成出什么样的行动结果。
真实机器人系统里,机械臂能不能抓住物体,取决于位置、接触力、摩擦这些物理条件。传统物理引擎会维护明确的状态变量,按动力学规则更新位置、速度和接触关系,再渲染出对应画面。
拉爆游戏引擎?深度拆解 Genie 4,从视频生成到世界控制,Google 要跨越什么?
生成式世界模型学的是感官信息随时间变化的规律。模型就算生成了一段视觉上连贯的抓取过程,也不能直接证明其中的接触和受力关系符合物理约束。任务描述要求操作成功时,生成结果可能被目标语义带偏,Gemini 又拿这些结果判断成败,最后就绕成了自我确认循环。
这里头可能藏着一个“指鹿为马”的陷阱。裁判和运动员都是 AI,物理常识就被视觉连贯性绑架了。没有外挂的‘因果核验’和独立的‘动力学引擎’,Agent 根本学不到真正的物理边界。
这种风险会拖累 Agent 从模拟中学习行动策略,毕竟有效的训练反馈,得能反映不同操作带来的实际后果。
设想机械臂在相同初始状态下做两种移液操作,一种对准目标孔位,另一种明显偏移。世界模型要是把两种动作生成成同样的成功结果,Agent 就学不到位置误差与操作失败之间的关系。
拉爆游戏引擎?深度拆解 Genie 4,从视频生成到世界控制,Google 要跨越什么?
反事实干预测试能用来检查这种因果对应关系。固定场景初始状态,只改某一项操作,再看后续结果是否符合合理的物理约束。测试还得结合任务规则和对象属性,不能完全靠视频相似度来评价结果。
对于跳棋任务,可以单独配置一个规则校验模块,用来核对棋子的落点、走法是否合规以及胜负判定;如果涉及机械臂抓取或容器操作,则可以把物体所在位置、接触情况、数量等信息一并纳入,需要时再借助外部状态估计或动力学模型。
外部核验也不是万能的。检查器如果完全依赖生成模型给出的错误状态,判断照样会被同一份偏差带跑。所以涉及复杂物理交互的任务,还得考虑怎么拿到相对独立的验证依据。
拉爆游戏引擎?深度拆解 Genie 4,从视频生成到世界控制,Google 要跨越什么?
拉爆游戏引擎?深度拆解 Genie 4,从视频生成到世界控制,Google 要跨越什么?

03

两个模型如何持续协同

Genie 4 得持续生成画面、运动和声音,Gemini 3.8 Flash 则要读取环境信息、分析任务进度、产生后续指令。两边运行的时间尺度不一样,如果环境生成必须等高层推理做完,实时交互就会被延迟拖住。
一条可行的路子是借鉴分层控制里的双时间尺度机制:世界模型维持高频的环境演化,Agent 只在关键事件发生时更新任务目标。
拉爆游戏引擎?深度拆解 Genie 4,从视频生成到世界控制,Google 要跨越什么?
可异步协作又带出指令时效性的问题。假设虚拟摩托车正在接近路口,Gemini 根据红灯发出减速指令,但视觉采样、推理和条件传递这段时间里,Genie 4 还在持续生成环境。指令送到时,车辆位置可能已经变了,原先的控制要求未必还适用。
工程上可以给控制请求附上观测时间、事件标识和生效条件,执行前先检查指令有没有过期。对于正在进行的连续动作,还得设置可中断边界。
比如机械臂抓起物体后,可以按新指令调整移动目标;但新任务要求立即抓取另一个物体,就得先处理当前动作的结束条件。事件队列、指令优先级和条件更新协议能用来协调这些操作,不过具体的调度实现,DeepMind 尚未公开。
拉爆游戏引擎?深度拆解 Genie 4,从视频生成到世界控制,Google 要跨越什么?
交互时间一长,长期状态管理也会变复杂。连续视频里塞满短期运动细节,而任务规划真正需要长期保存的,主要是已完成事件、失败操作和未满足的目标。一直依赖完整视觉历史,计算成本会不断上涨,关键任务信息也容易被无关画面干扰。
一种可能的解法是分层记忆。短期视觉上下文保留人物姿态、对象外观及局部运动信息;长期任务记录则用紧凑结构保存对象身份、事件类型、发生时间和执行结果。
短期视觉信息可以随时间逐步压缩,长期任务记录按需检索,这样持续交互就不必依赖完整的视频上下文。
拉爆游戏引擎?深度拆解 Genie 4,从视频生成到世界控制,Google 要跨越什么?
两类记忆也可能打架。事件日志记着某扇门已经关闭,模型再次生成该区域时却显示门是打开的。系统得结合事件时间、记录来源及状态版本,判断是否存在中间事件、日志更新延迟或视觉生成漂移,别让错误状态一直影响后续任务。
Genie 4 引入原生音频生成后,长期交互还多了一层跨模态时间对齐。碰撞声要对应物体接触的那一刻,人物对话也要和环境事件、动作变化保持合理的先后关系。音频与视觉如果生成节奏不同,系统就需要传递事件时间信息,减少声音和动作错位。
DeepMind 自己也承认,Genie 4 跑得久了、经过多轮条件修改和反复探索之后,还是会出问题——物体持久性会变,视觉细节会漂,复杂的物理交互和空间一致性也未必稳得住。
这些毛病在持续交互里到底怎么表现,后面得靠指令时效、历史事件记录、音视频同步这几类测试去细看。
拉爆游戏引擎?深度拆解 Genie 4,从视频生成到世界控制,Google 要跨越什么?

04

世界模型走向任务级控制

Hybrid World Models 是 DeepMind 拿出的方案,给世界模型和 Agent 的进一步结合指了条可能的路:离散逻辑、任务规则和结构化状态交给语言与代码模型,连续的视觉、声音模拟则由生成模型来扛。
不过这套混合架构还缺一个接口,得把离散状态和连续模拟接起来:任务规则要能变成生成约束,环境变化也要能转成规划系统用得上的信息。碰上复杂物理过程,恐怕还得拉专门的动力学模型进来。
放到机器人训练上看,接下来的实验要回答两件事:模拟里练出来的行动策略能不能搬到真实环境,生成环境和现实物理条件的差距又会让训练效果打多少折扣。
世界模型能支持持续的任务干预之后,用处就不止生成可交互场景了,复杂行动的模拟训练也纳入了范围。机器人赛道一直卡在缺真实物理数据上,这算是雪中送炭。当然,前提是异步调度和因果幻觉这两个死结真能解开;解开了,它才有机会成为具身智能的“绝境模拟器”。
说到底,Agent 能不能在生成环境里学到现实中用得上的行为规律,才是这类系统在机器人领域有多大价值的决定因素。
参考链接:https://deepmind.google/blog/genie-4-a-new-generation-of-world-simulation/
本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. Google DeepMind发布Genie 4:文字生成可探索场景,还能加角色改天气

    专注AIGC技术的专业社区,关注大语言模型(LLM)的发展和应用落地,聚焦LLM及AI技术的市场研究和开发者生态,欢迎关注!近日,Google DeepMind发布世界模型 Genie 4。它可以根据文字描述生成可探索的虚拟环境,用户能在场景中移动视角,也能继续输入指令,改变天气、加入角色或调整环境。模型还会生成环境音

    来源 腾讯网
  2. 谷歌发布Genie 4:一句话生成可探索虚拟世界,模拟时长翻倍至两分钟

    财联社10月28日讯(编辑 赵昊)谷歌发布了新版人工智能世界模型,能够实时生成更加逼真的虚拟环境,进一步推进这项曾令游戏公司感到不安的技术。谷歌DeepMind周二在官网发布了Genie 4,可让用户通过文字提示创建可供探索的虚拟世界,并可以使用键盘操控在其中游历。用户还可以在场景展开过程中输入指令,实时改变天气或添加

    来源 腾讯网
  3. 谷歌Genie 4发布:30秒生成游戏世界,支持24帧实时交互

    作者|青和编辑|四月如果 AI 不再只是生成一段视频,而是直接创造一个可以走进去、随时改变,甚至能与其中人物交流的世界,会发生什么?谷歌最新发布的 Genie 4,正在把这一设想推向现实。当地时间 10 月 27 日,Google DeepMind 正式推出新一代世界模型 Genie 4,称其为「迄今为止最逼真、交互性

    来源 腾讯网
  4. 谷歌DeepMind发布Genie 4:可生成实时音频,场景能边跑边改

    谷歌DeepMind在最新研究预览中发布了第四代世界模型Genie 4,其亮点是在生成逼真交互世界的同时新增实时音频,并能通过提示词实时修改天气、摄像机角度或添加物体。Genie 4可将场景一致性维持两分钟,为上一代的两倍。谷歌强调其与Gemini模型的协同——Gemini担任'导演'负责规划与检查,Genie负责视觉

    来源 凤凰科技
  5. 谷歌主动推动安卓折叠屏应用适配,Google Play 商店明年将引入评估机制

    IT之家 10 月 29 日消息,搭载安卓系统的折叠屏设备问世多年,应用适配问题却始终没有得到妥善解决,连谷歌也承认这一点。不过,谷歌不准备继续指望开发者自觉优化应用,而是打算主动推动折叠屏应用的适配工作。当地时间 28 日,据外媒 Android Authority 报道,从明年起,Google Play 商店将开始

    来源 腾讯网
  6. Genie 4研究预览上线:新增实时音频,支持中途文本操控

    Google DeepMind发布Genie 4世界模型研究预览,面向可信测试者。新版本加入实时音频、更逼真的模拟,并支持在模拟过程中通过文本提示实时操控。相比前代,Genie 4从生成可交互世界进一步走向多感官、可导演的实时世界模型。本文梳理其核心升级、应用想象与仍需关注的挑战。

    来源 AI 科技快讯
  7. 谷歌Genie 4世界模型:音视频同步生成,最长两分钟

    当地时间10月27日,谷歌DeepMind推出世界模型Genie 4研究预览版。该模型可生成高拟真度可交互虚拟世界,首次实现音视频同步生成,支持自由编辑,最长维持两分钟连贯画面。‌‌谷歌DeepMind官方账号称,“Genie 4是我们迄今为止最逼真、最具交互性的世界模型。”

    来源 TechWeb
  8. 谷歌Genie 4发布:实时生成世界,还能语音对话

    梦瑶 发自 凹非寺 量子位 | 公众号 QbitAI 实时、改环境、语音指令、Gemini…全来了??? 刚刚,Google DeepMind正式发布新一代「世界模型」——Genie 4。 这也是,谷歌迄今为止最逼真且最具交互性的世界模型。 一句话实时修改场景、模拟真实物理效果,连人物动作、环境音效和互动对话都能同步生

    来源 AI 开发者社区
  9. 谷歌发布Genie 4世界模型:原生声音、2分钟记忆,内测已开

    谷歌版「黑客帝国」,今夜彻底成真了! 就在刚刚,Google DeepMind甩出深夜王炸,正式发布新一代通用世界模型Genie 4。 这是谷歌迄今为止最逼真、最具互动性的AI世界模型。 一句提示词,就能直接造出一座能张嘴接戏、实时改命的「活体宇宙」! 谷歌CEO劈柴第一时间宣布:从「生成一段视频」到「实时运行一个世界

    来源 AI 行业观察
  10. 谷歌Genie 4世界模型:加音频、支持实时操控,研究预览开放

    Google DeepMind发布Genie 4世界模型研究预览,面向可信测试者。新版本加入实时音频、更逼真的模拟,并支持在模拟过程中通过文本提示实时操控。相比前代,Genie 4从生成可交互世界进一步走向多感官、可导演的实时世界模型。本文梳理其核心升级、应用想象与仍需关注的挑战。

    来源 AI 行业观察
  11. 谷歌发布Genie 4世界模型:实时生成场景,角色能开口对话

    文章转载于量子位作者:梦瑶实时、改环境、语音指令、Gemini…全来了???刚刚,Google DeepMind正式发布新一代「世界模型」——Genie 4。这也是,谷歌迄今为止最逼真且最具交互性的世界模型。一句话实时修改场景、模拟真实物理效果,连人物动作、环境音效和互动对话都能同步生成全安排上了。比如,直接在对话框里

    来源 腾讯网
  12. Google推出Agent Compute Engine:智能体基建从能跑转向管好

    本期速报聚焦基础设施层变动:Google Cloud发布Agent Compute Engine解决智能体规模化运行难题;DeepSeek开源支持昇腾与NVIDIA新架构的DeepInfer框架;Meta放出单卡可跑的30B智能体模型。此外,Google开源TorchTPU降低迁移成本,Hugging Face推出Tr

    来源 AI 应用前沿
  13. 谷歌发布Genie 4世界模型:可实时用自然语言“导演”虚拟世界

    谷歌 DeepMind 团队昨日(10 月 27 日)发布博文,宣布推出 Genie 4 世界模型,定位为“重大研究里程碑”,在原生音频、实时自然语言改写、更真实的物理与人物等方面实现核心突破,把世界模型从一次性生成画面升级为可实时操控、可听、可推理的动态模拟世界。

    来源 IT之家
  14. 谷歌Genie 4:120秒虚拟世界,AI未来已来

    这个世界只能维持 120 秒,然后一切开始崩塌。然而在这两分钟里,你可以随时改变天气、召唤巨龙,甚至让一座城市为你拔地而起。 刚刚,Google DeepMind 正式发布新一代世界模型 ....

    来源 腾讯网
  15. TapTap、Roblox入局:AI游戏能成短剧后的下一个超级应用吗

    AI短剧的爆发,正为游戏产业提供一场前所未有的参照实验:内容生产成本骤降、创作者大量涌入,爆款却依然稀缺。如今,TapTap、Roblox以及Google与Unity的探索,表明AI游戏创作也开始跨越技术门槛。 游戏拥有比短剧更丰富的交互、社交和商业化空间,可能在供给革命之外开启需求革命。但谁能把新增游戏转化为持续游玩

    来源 华尔街见闻
  16. Genie 4:实时交互加原生音频,世界模型能“进”了?

    Google DeepMind推出新一代世界模型Genie 4,主打高保真视觉与原生音频同步生成。该模型允许用户通过自然语言实时修改场景中的天气、物体或人物行为,并引入Gemini系列模型进行逻辑推理以维持模拟连贯性。目前仅面向受信任测试者开放预览,旨在探索其在机器人训练、游戏原型设计及影视预演等领域的应用潜力,同时承

    来源 AI 应用前沿
  17. AI视频,「Runway」逆袭?

    打开如今的视频生成模型能力榜单,排名前列的模型均来自谷歌、字节、快手等等大厂。三年前,AI 视频赛道绕不开的「Runway」已经不在第一梯队。 Artificial Analysis 榜单,Runway 的最新模型 Gen4.5 已排不进前 10|图片来源:Artificial Analysis 去年 12 月,Gen

    来源 AI 行业观察
  18. Google千万美元买破产航司数据:AI数据价格浮出水面

    一家破产航空公司留下的数据,被Google开价1000万美元购买。 这笔交易涉及美国廉价航空公司Spirit Airlines长期积累的内部记录,包括约1亿封电子邮件、5亿条Microsoft Teams消息,以及大量电子表格、日历和其他业务资料。Google希望利用这些数据改进AI模型。 一家已经停止运营的航空公司,

    来源 AI 行业观察
向下滚动自动加载更多