自然语言动作控制
在视频生成过程中接受自由文本动作,随时改变画面走向,而不是只在开头给一次提示词,支持交互式内容生成。
拖动滑块完成拼图,通过后发送验证码
独立第三方 AI 评测平台 · 只用实测数据
Pandora 是一个迈向通用世界模型(GWM)的尝试,由 Maitrix.org 与 UCSD、MBZUAI 等机构的研究者共同完成。它通过生成视频来模拟世界状态,最大的特点是支持在视频生成过程中用自由文本动作进行随时控制,而不是只在开头给一次提示词。它还能针对同一初始状态生成不同的反事实未来,并把 2D 游戏 Coinrun 中学到的动作迁移到其他没见过的 2D 游戏。此外,借助自回归骨干,它能生成 8 秒视频,而训练视频大多只有 5 秒。官方也坦言,它在画面一致性、复杂场景模拟、常识与物理规律理解、指令跟随方面仍有明显不足。
Pandora 是一个面向通用世界模型(General World Model,GWM)方向的研究项目,由 Maitrix.org 联合 UCSD、MBZUAI 等机构的研究者推出。它想做的事情,是在任意领域里模拟世界的状态变化——具体做法是直接生成视频,并让用户用自然语言表达的动作去操控这段视频。
从官网能确认的现状看,Pandora 的核心能力包括三点:一是接受自由文本动作,在视频生成过程中随时改变画面走向;二是针对同一个初始状态,生成不同的反事实未来;三是覆盖室内与室外、自然与城市、人与机器人、2D 与 3D 等多类场景。它把视频模型和自己研发的自回归骨干结合起来,从而能生成时长更长的视频,官网展示的是 8 秒视频,而训练视频大多不超过 5 秒。
对不同用户来说,它的用法不太一样。普通用户可以把它当作一个可交互的视频生成演示,在官网的影集里感受「输入一句动作、画面随之变化」的效果;研究者和开发者可以顺着论文、GitHub 与 Hugging Face 上的资料,了解它在世界模型与动作控制上的做法,并在此基础上做实验。
在视频生成过程中接受自由文本动作,随时改变画面走向,而不是只在开头给一次提示词,支持交互式内容生成。
针对同一个初始状态,用不同动作生成不同的未来画面。官网展示了岩浆喷发、天空变暗、左转遇到白色厢式车、右转遇到红色汽车等多个分支。
覆盖室内与室外、自然与城市、人与机器人、2D 与 3D 等广泛领域,例如倒牛奶、点燃木柴、吹动树叶、放行交通等场景。
通过高质量数据的指令微调学习动作控制,并迁移到没见过的领域。官网举例说,它只在训练中见过 2D 游戏 Coinrun,却能把学到的动作应用到其他 2D 游戏。
把视频模型与 Pandora 自回归骨干结合,可生成时长更长的视频。官网展示的 8 秒视频,超过了其训练视频大多不超过 5 秒的时长。
提供 Gallery 画廊、GitHub、Hugging Face、论文与 Discord 等入口,方便浏览更多视频样例并跟进研究进展。
公开了论文与技术路线,适合研究通用世界模型与动作控制方向的人跟进。
可以在官网影集里直接看到自然语言动作控制视频的效果,无需部署即可感受能力。
明确说明它可能生成不一致的视频,也难模拟复杂场景,直接用于成片风险较高。
坦言它在理解常识与物理规律、跟随指令动作方面仍有不足,严谨场景需谨慎。
当前定位是迈向通用世界模型的初步一步,尚不适合当作稳定的商业生产工具。
没有列出收费档位。目前页面主要以项目介绍、演示影集和论文资料为主,提供 Gallery、GitHub、Hugging Face 等入口。是否收费、如何收费,需要以官方页面后续公布的说明为准。
从看,它的核心能力是接受自由文本动作,在视频生成过程中随时控制画面走向,而不是只在开头给一次提示词。同时它能针对同一初始状态生成不同的反事实未来,并覆盖室内外、自然城市、人机、2D 与 3D 等多类场景。
展示的是 8 秒视频。它把视频模型与自回归骨干结合,因此可以生成长度更长的视频,并声称潜在时长不受限制。作为对比,涉及其训练视频大多在 5 秒以内。
强调,此前的文生视频模型只允许在视频开头给一次文本提示,而 Pandora 允许在生成过程中持续输入自由文本动作来随时引导画面。它把这称为世界模型应有的随时控制能力,用于支持交互式内容生成。
设有专门的局限说明:它可能生成不一致的视频,在模拟复杂场景、理解常识与物理规律、跟随指令与动作方面都还有不足。把它描述为迈向通用世界模型的初步一步。
未说明国内访问情况。目前没有公开发布价格、账号体系或地区可用范围的信息,能否使用、如何使用需以官方页面后续说明为准。
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| Pandora本工具 | 4.4 | 未标价 | 自然语言动作控制;反事实未来生成;跨领域视频模拟;动作跨域迁移 | Web |
| The Matrix | — | 未标价 | 开创性的实时、帧级控制的逼真世界模拟技术 | — |
| Luma Ray2 | — | 未标价 | 大规模视频生成模型,可创建逼真视觉效果与自然连贯动作 | — |
| Animatable | — | Basic $20/月(原价 $30),Pro $50/月(原价 $70) | AI 平台将视频转化为动画,支持自定义风格和细节 | Web |
| VideoLLaMA2-7B-16F-Base | — | 未标价 | 大型视频语言模型,用于视觉问答和视频字幕生成 | — |
| VideoLLaMA2-7B-Base | — | 未标价 | 大型视频语言模型,提供视觉问答和视频字幕生成 | — |