单视角视频重建
输入一段单视角视频,模型即可重建出对应的 4D 对象,官方整个过程在数秒内完成,单次前馈只需一秒。
拖动滑块完成拼图,通过后发送验证码
独立第三方 AI 评测平台 · 只用实测数据
从单视角视频秒级重建可动画 4D 对象的生成模型
L4GM 是 NVIDIA 联合多伦多大学、剑桥大学、MIT 与南洋理工大学提出的 4D 大重建模型,论文发表于 NeurIPS 2024。它接收单视角视频和单时刻多视角图像,单次前馈只需一秒即可输出一组 4D 高斯,能重建 10 秒长、30fps 的视频内容,并通过 4D 插值模型把帧率提升 3 倍。其训练数据由 Objaverse 整理而来,包含 44K 对象、110K 动画、48 个视角共 12M 视频、300M 帧。短板是它本质上仍是研究项目,官网未提供面向普通用户的产品入口、价格与使用额度。
L4GM 是 NVIDIA 联合多伦多大学、剑桥大学、MIT 和南洋理工大学等机构提出的 4D 大重建模型,论文发表于 NeurIPS 2024。它的目标是从一段单视角视频出发,重建出带时间维度的可动画 3D 对象。
模型以单视角视频和单时刻多视角图像为输入,输出一组 4D 高斯。它在 LGM 这一预训练 3D 大重建模型的基础上加入时间自注意力层,并采用逐时刻多视角渲染损失来训练;推理时先在低帧率视频帧上生成逐帧 3D 高斯泼溅表示,再通过一个 4D 插值模型上采样到更高帧率,实现时间上的平滑。官方它能在数秒内生成 4D 对象,可重建 10 秒长、30fps 的视频,并借助 4D 插值模型把帧率提升 3 倍。
对研究者来说,它提供了一条从视频到 4D 高斯表示的端到端路径,并支持自回归式重建;对开发者而言,可以关注其论文与代码来复现或接入自有的视频动画管线;对普通用户而言,当前形态仍是研究页面与论文,官网未公开可直接上手的产品界面。
输入一段单视角视频,模型即可重建出对应的 4D 对象,官方整个过程在数秒内完成,单次前馈只需一秒。
官方页面说明 L4GM 能够重建 10 秒长、30fps 的视频内容,覆盖较长时间跨度的动态对象。
模型输出一组 4D 高斯;推理时先在低帧率视频帧上生成逐帧 3D 高斯泼溅表示,再上采样到更高帧率。
官方训练了一个 4D 插值模型,可将帧率提升 3 倍,生成中间 3D 高斯表示以增强时间平滑度。
L4GM 支持自回归重建,把上一次重建出的高斯的多视角渲染结果作为下一次重建的输入,两次相邻重建之间有一帧重叠。
模型采用 U-Net 架构,使用跨视角自注意力保证视角一致性,并用时间跨帧自注意力保证时间一致性。
训练数据来自 Objaverse 整理的多视角视频数据集,官方模型只在该合成数据上训练,却能很好地泛化到真实拍摄视频。
页面提供论文入口与代码入口,并附有 BibTeX 引用信息,方便研究者在论文基础上复现或继续研究。
页面提供了论文、代码与引用信息,适合作为 4D 大重建模型方向的研究参考起点。
可关注其从单视角视频生成 4D 高斯表示的思路,评估接入自有视频动画管线的可能性。
如果目标是直接产出动画资产,目前官网未提供面向创作者的产品界面与价格说明,需要先评估使用门槛。
页面以研究介绍与论文为主,未公开面向普通用户的使用入口、额度与价格。
没有列出任何付费档位或使用额度。目前页面以研究介绍、论文与代码入口为主,如果需要了解后续是否有商业化价格,需要以官方页面为准。
它的核心能力是从单视角视频重建出可动画的 4D 对象。官方它能重建 10 秒长、30fps 的视频内容,并通过一个 4D 插值模型把帧率提升 3 倍;单次前馈只需一秒即可产出结果。
涉及 L4GM 建立在预训练的 3D 大重建模型 LGM 之上,输出的是逐帧 3D 高斯泼溅表示,并加入时间自注意力层与逐时刻多视角渲染损失来保证跨时间一致性,因此处理的是一段视频而不是单张静态图像。
未说明国内是否可用,也没有列出面向普通用户的访问入口。页面主要提供论文与代码入口,实际能否使用需要以官方页面为准。
页面说明训练使用了一个多视角视频数据集,数据来自 Objaverse 中整理并渲染的动画对象,包含 44K 个对象、110K 个动画、48 个视角,合计 12M 视频、300M 帧。
模型以单视角视频和单时刻多视角图像作为输入。这意味着除了视频本身,还需要同一时刻的多视角图像,普通单机位拍摄的视频并不能直接满足这一输入条件。
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| L4GM本工具 | 4.5 | 未公开价格 | 单视角视频重建;10 秒 30fps 重建;4D 高斯表示输出;4D 插值提帧 | Web |
| TripoSR | — | 未标价 | 从单张图片快速生成3D 对象 | API / Web |
| Dream Machine AI | — | 未标价 | AI 模型,快速从文本和图像生成高质量视频 | — |
| Ewolve AI | — | 未标价 | 一体化 AI 平台,快速生成内容并开始赚钱 | — |
| AI Mockup Studio | — | 未标价 | 基于 AI 的模型生成器,快速创建令人惊叹的模型,使用文本到图像 AI | — |
| DataRobot | — | 未标价 | DataRobot AI 平台,实现自动建模和可视化 | Web |