分层高斯结构
把 3D 高斯按层级组织,为同一场景维护多个细节层次,渲染时可按距离和视角选择合适的层级,避免用一个全局高精度表示硬扛所有像素。
拖动滑块完成拼图,通过后发送验证码
独立第三方 AI 评测平台 · 只用实测数据
用分层高斯把超大规模场景做到实时渲染
官网地址 https://repo-sam.inria.fr/fungraph/hierarchical-3d-gaussians/
分层 3D 高斯表示方法,由 Inria 图形研究团队提出,把 3D Gaussian splatting 从单机小场景扩展到数十万张图像、数公里轨迹的超大采集。核心是分层结构加 Level-of-Detail,远处内容用低层级渲染、近处用高层级,兼顾画质与帧率。它还用分治策略把大场景拆成独立分块分别训练,再合并成可优化的层级结构。代价是流程比原版 3D Gaussian splatting 复杂:需要先分块训练再合并,稀疏覆盖的大规模采集还要额外的正则化处理。
这是一种面向超大规模场景的三维重建与实时渲染表示方法,由 Inria 的图形研究团队提出。它要解决的问题很具体:原始 3D Gaussian splatting 画质好、训练快、能实时渲染,但显存和算力限制了可表示场景的尺寸,场景一大画质就撑不住。
方法的核心是把高斯组织成层级结构,并提供 Level-of-Detail 方案。渲染远处内容时选低层级,渲染近处内容时选高层级,层级之间做平滑过渡,从而在超大场景里维持帧率和画质。训练上采用分治思路,把大场景拆成互相独立的分块分别训练,再把分块整合进一个层级,中间节点的高斯还能继续优化以提升画质。
针对超大规模采集通常覆盖稀疏的问题,训练流程做了适配和正则化。官方给出的结果显示,用简单且成本可控的设备采集,图像数量可达数万张级别,轨迹长度可达数公里,连续采集时长可达一小时。
把 3D 高斯按层级组织,为同一场景维护多个细节层次,渲染时可按距离和视角选择合适的层级,避免用一个全局高精度表示硬扛所有像素。
远处内容用低层级高斯渲染,近处用高层级,层级之间做平滑过渡。这样一来超大场景也能维持实时帧率,而不是把算力全花在看不见细节的地方。
采用分治策略,把大场景切成独立的分块分别训练。单块规模可控,因而能训练原始方法训不动的超大场景,也便于按资源分批处理。
分块训练完成后整合成一个层级结构,并继续优化合并到中间节点的高斯。这一步是画质能不能回到可用水平的关键,不是简单拼接。
超大规模采集往往视角覆盖稀疏,原始 3D Gaussian splatting 训练在这类数据上会出问题。方法对训练做了适配和正则化来应对稀疏覆盖。
LOD 机制让它能按可用资源调整渲染负载,同一份重建结果在配置不同时都能跑,而不是绑死在某档硬件上。
当你手上是数万张图像、轨迹长度到公里级、采集时长到小时级的超大场景,原版 3D Gaussian splatting 训练和渲染都撑不住时,这套分层方案是冲着这个量级设计的,LOD 和分块训练都是为它服务的。当你的场景只有几百到几千张图,用原版就够了,额外的分块、合并、层级优化只会让流程更重。另外它是研究性质的方案,落地前要评估工程集成成本。
研究超大规模三维重建、需要在数万张图像量级上做实验的团队。方法本身就是为这个规模提出的,对照实验有现成基线。
要把高斯泼溅方案接进自研管线、且场景规模已经超出原版方法承载能力的团队,可以用它的分块加层级思路。
采集轨迹到公里级、时长到小时级的项目,LOD 渲染能压住实时渲染负载,适合做可视化和巡检类应用。
只做单物件或小房间扫描的团队。分块训练、层级合并、LOD 这一整套流程对这个小体量是多余开销,原版方法更快出结果。
这是研究性质的方法,不是打包好的商业软件。没有自行实现和调参能力的话,集成成本会超出预期。
它建立在 3D Gaussian splatting 之上。原版画质好、训练快、能实时渲染,但训练和渲染所需资源限制了可表示的场景尺寸。这套方法把高斯组织成层级,用 LOD 和分块训练突破这个尺寸限制。
官方结果覆盖的是图像数量达到数万张、轨迹长度达到数公里、连续采集时长达到一小时的场景,采集用的是简单且成本可控的设备。超过这个量级的表现官方没有给出数据。
因为一次性训练超大场景所需的资源会超出可用范围。分治方式把场景切成独立分块分别训练,再把分块整合进一个可优化的层级结构。这是它能训练超大场景的前提。
解决远处内容浪费算力的问题。渲染时远处内容用低层级、近处用高层级,层级之间平滑过渡,并支持按可用资源调整,从而在超大场景下维持实时渲染。
会。超大采集通常视角覆盖稀疏,这对原始 3D Gaussian splatting 的训练方法是挑战。该方案对训练做了适配和正则化来应对稀疏覆盖问题。