L4GM

L4GM

AI TOOL PROFILE工具资料

从单视角视频秒级重建可动画 4D 对象的生成模型

官网地址 https://research.nvidia.com/labs/toronto-ai/l4gm/

访问官网
价格未公开价格
平台Web
归类大模型与开发平台
收录2026-10-10
复核2026-10-10
编辑评分 4.5 / 5

L4GM编辑总结

EDITOR REVIEW编辑评测

L4GM 是 NVIDIA 联合多伦多大学、剑桥大学、MIT 与南洋理工大学提出的 4D 大重建模型,论文发表于 NeurIPS 2024。它接收单视角视频和单时刻多视角图像,单次前馈只需一秒即可输出一组 4D 高斯,能重建 10 秒长、30fps 的视频内容,并通过 4D 插值模型把帧率提升 3 倍。其训练数据由 Objaverse 整理而来,包含 44K 对象、110K 动画、48 个视角共 12M 视频、300M 帧。短板是它本质上仍是研究项目,官网未提供面向普通用户的产品入口、价格与使用额度。

L4GM是什么?

L4GM 是 NVIDIA 联合多伦多大学、剑桥大学、MIT 和南洋理工大学等机构提出的 4D 大重建模型,论文发表于 NeurIPS 2024。它的目标是从一段单视角视频出发,重建出带时间维度的可动画 3D 对象。

模型以单视角视频和单时刻多视角图像为输入,输出一组 4D 高斯。它在 LGM 这一预训练 3D 大重建模型的基础上加入时间自注意力层,并采用逐时刻多视角渲染损失来训练;推理时先在低帧率视频帧上生成逐帧 3D 高斯泼溅表示,再通过一个 4D 插值模型上采样到更高帧率,实现时间上的平滑。官方它能在数秒内生成 4D 对象,可重建 10 秒长、30fps 的视频,并借助 4D 插值模型把帧率提升 3 倍。

对研究者来说,它提供了一条从视频到 4D 高斯表示的端到端路径,并支持自回归式重建;对开发者而言,可以关注其论文与代码来复现或接入自有的视频动画管线;对普通用户而言,当前形态仍是研究页面与论文,官网未公开可直接上手的产品界面。

L4GM核心功能

CAPABILITIES工具标签

单视角视频重建

输入一段单视角视频,模型即可重建出对应的 4D 对象,官方整个过程在数秒内完成,单次前馈只需一秒。

10 秒 30fps 重建

官方页面说明 L4GM 能够重建 10 秒长、30fps 的视频内容,覆盖较长时间跨度的动态对象。

4D 高斯表示输出

模型输出一组 4D 高斯;推理时先在低帧率视频帧上生成逐帧 3D 高斯泼溅表示,再上采样到更高帧率。

4D 插值提帧

官方训练了一个 4D 插值模型,可将帧率提升 3 倍,生成中间 3D 高斯表示以增强时间平滑度。

自回归式重建

L4GM 支持自回归重建,把上一次重建出的高斯的多视角渲染结果作为下一次重建的输入,两次相邻重建之间有一帧重叠。

时间与视角一致性

模型采用 U-Net 架构,使用跨视角自注意力保证视角一致性,并用时间跨帧自注意力保证时间一致性。

合成数据训练

训练数据来自 Objaverse 整理的多视角视频数据集,官方模型只在该合成数据上训练,却能很好地泛化到真实拍摄视频。

论文与代码

页面提供论文入口与代码入口,并附有 BibTeX 引用信息,方便研究者在论文基础上复现或继续研究。

L4GM适合谁用?

WHO IS IT FOR工具标签

4D 重建研究者

推荐

页面提供了论文、代码与引用信息,适合作为 4D 大重建模型方向的研究参考起点。

计算机视觉开发者

推荐

可关注其从单视角视频生成 4D 高斯表示的思路,评估接入自有视频动画管线的可能性。

3D 内容创作者

有条件

如果目标是直接产出动画资产,目前官网未提供面向创作者的产品界面与价格说明,需要先评估使用门槛。

追求开箱即用的用户

不推荐

页面以研究介绍与论文为主,未公开面向普通用户的使用入口、额度与价格。

L4GM优点和缺点

PROS & CONS工具标签

优点

  • 单次前馈只需一秒即可输出动画对象
  • 可重建 10 秒长、30fps 的视频内容
  • 4D 插值模型可将帧率提升 3 倍
  • 支持自回归式重建以延长重建时长
  • 只用合成数据训练也能泛化到真实拍摄视频

缺点

  • 未公开面向普通用户的产品入口
  • 页面未说明国内是否可用
  • 输入需要单时刻多视角图像,普通视频不直接满足

L4GM关键指标

MEASURED FACTS工具标签
指标数值数据来源
单次前馈耗时 1 second Abstract
可重建视频时长与帧率 10-second long 30-fps 页面正文
插值提帧倍数 3x 页面正文
训练对象数量 44K diverse objects Abstract
训练动画数量 110K animations Abstract
渲染视角数量 48 viewpoints Abstract
训练视频总数 12M videos Abstract
训练帧总数 300M frames Abstract

L4GM常见问题

FAQ工具标签
L4GM 要花钱吗?

没有列出任何付费档位或使用额度。目前页面以研究介绍、论文与代码入口为主,如果需要了解后续是否有商业化价格,需要以官方页面为准。

L4GM 的核心能力是什么?

它的核心能力是从单视角视频重建出可动画的 4D 对象。官方它能重建 10 秒长、30fps 的视频内容,并通过一个 4D 插值模型把帧率提升 3 倍;单次前馈只需一秒即可产出结果。

它和常见的 3D 重建工具有什么区别?

涉及 L4GM 建立在预训练的 3D 大重建模型 LGM 之上,输出的是逐帧 3D 高斯泼溅表示,并加入时间自注意力层与逐时刻多视角渲染损失来保证跨时间一致性,因此处理的是一段视频而不是单张静态图像。

国内可以直接使用吗?

未说明国内是否可用,也没有列出面向普通用户的访问入口。页面主要提供论文与代码入口,实际能否使用需要以官方页面为准。

它的训练数据来自哪里?

页面说明训练使用了一个多视角视频数据集,数据来自 Objaverse 中整理并渲染的动画对象,包含 44K 个对象、110K 个动画、48 个视角,合计 12M 视频、300M 帧。

输入需要什么条件?

模型以单视角视频和单时刻多视角图像作为输入。这意味着除了视频本身,还需要同一时刻的多视角图像,普通单机位拍摄的视频并不能直接满足这一输入条件。

L4GM竞品对比

COMPARISON工具标签
工具编辑评分价格核心功能平台
L4GM本工具 4.5 未公开价格 单视角视频重建;10 秒 30fps 重建;4D 高斯表示输出;4D 插值提帧 Web
TripoSR — 未标价 从单张图片快速生成3D 对象 API / Web
Dream Machine AI — 未标价 AI 模型,快速从文本和图像生成高质量视频 —
Ewolve AI — 未标价 一体化 AI 平台,快速生成内容并开始赚钱 —
AI Mockup Studio — 未标价 基于 AI 的模型生成器,快速创建令人惊叹的模型,使用文本到图像 AI —
DataRobot — 未标价 DataRobot AI 平台,实现自动建模和可视化 Web