谷歌DeepMind发布Genie 4:音视频同步生成,最长两分钟可交互画面
【TechWeb】10月29日消息,当地时间10月27日,谷歌DeepMind推出世界模型Genie 4研究预览版。该模型可生成高拟真度可交互虚拟世界,首次实现音视频同步生成,支持自由编辑,最长维持两分钟连贯画面。 谷歌DeepMind官方账号称,“Genie 4是我们迄今为止最逼真、最具交互性的世界模型。” 一句话创
当地时间10月27日,谷歌
DeepMind推出世界模型Genie 4研究预览版。据TechWeb 10月29日消息,这一模型能够生成拟真度很高的可交互虚拟世界,首次做到音视频同步生成,并支持自由编辑,连贯画面最长可维持两分钟。
谷歌DeepMind官方账号给出的说法是:“
Genie 4是我们迄今为止最逼真、最具交互性的世界模型。”
一句提示,造出一个能交互的虚拟世界
Genie 4跟只生成视频的AI工具不一样,它产出的是一个可以实时探索的交互式虚拟环境。用户用文字提示建好场景后,能拿键盘操控角色走动、调整镜头,模拟运行中还能接着输入指令,随时改天气、换摄像机角度,或者往场景里加新人物、新物体。
谷歌研究总监特贾斯·库尔卡尼提到,接下来的方向是“混合式世界模型”:规划代码与文本的活儿交给Gemini,Genie则实时接指令,在不同抽象层级上模拟现实。
技术层面的升级落在四个维度上。原生音频生成是Genie系列头一回具备的能力:模型生成每一帧画面的同时,会同步生成对得上的环境音、背景音乐和交互式对话,角色能就场景里正在发生的事实时交谈。
物理和人物模拟这块,Genie 4在空气动力学、碰撞、环境阻力等复杂交互上的准确度有明显提升,数字人物的动作与面部表情也更自然。
实时场景导演功能让用户可以用自然语言在模拟中途“喊停改戏”。Gemini 3.8 Flash在循环中充当活跃代理,负责追踪画面帧、拆解目标、验证动作成没成功,场景一变就即时调整计划。
另外,Genie 4能对多步骤的复杂事件做连贯模拟。开发者因此可以在虚拟环境里观察AI代理怎么应对复杂场景,再把策略搬到现实中去。
落地方向:机器人训练与影视原型
谷歌把机器人训练、游戏开发、交互式学习和影视制作明确列为Genie 4的主要应用方向。
机器人方面,一项与Gemini Robotics关联的实验显示,Gemini 4 Argon模型先把任务拆成多个步骤,再交给Genie 4实时模拟。这为在物理机器人动手执行任务之前,先到虚拟环境里测试场景提供了一条可行路径。
影视制作是早期测试者关注的新方向。谷歌DeepMind工程师迭戈·里瓦斯认为,实时生成能力在创意构思和故事板阶段最能体现价值,因为它“让创作者保持流畅的创作状态”。
沃顿商学院教授伊桑·莫利克体验时只给了一句提示,一分钟内就生成了一座“由机器人和马匹居住的新哥特式粗野主义城市”,随后又实时加入了巨龙和NPC角色。
不过,谷歌在发布中反复强调,Genie 4还处在研究预览阶段,没有面向公众开放。目前只向“受信任测试者”开放,未来几周计划通过Project Genie提供给Google AI Ultra订阅用户,以及Gemini API和AI Studio的早期访问合作伙伴。
团队也承认模型有明显局限:模拟时间一长,场景细节和物体稳定性就容易漂移,音频准确性、虚拟世界内文字的可读性也都还没完全解决。
还有一点,Genie 4生成的所有视频与音频都会带上SynthID隐形水印。谷歌表示,模型经过了严格的安全评估,以防止有害内容生成。
世界模型赛道竞争升温
Genie 4发布的时间点,正赶上世界模型领域竞争与整合一起升温。
几个月前,AI视频初创公司Runway刚推出第二款世界模型GWM Worlds 2,同样主打可交互响应和音频生成。
行业整合也在提速。李飞飞创立的World Labs被AMD收购,亚马逊正洽谈收购Decart,Rivian则收购了Third Dimension,把模拟能力引入自动驾驶测试内部。
放到更大的层面看,谷歌把世界模型摆在了通往AGI的关键路径上。官方博客写道:“理解和模拟世界是构建AGI的关键一步”。
Genie 4能不能从研究预览走到可规模化的产品,要看它在真实工作流里的稳定性表现,以及开发者的采用速度。方向倒是已经清楚:AI正从生成内容,转向生成一个可供人类与机器共同训练、试错和创造的世界。