双高斯表示
用两套高斯表示分别承载场景的不同部分,再统一合成人体体积结果。相比单一表示,这种拆分在人物大幅运动时更不容易出现几何与外观互相拖累的崩坏。
拖动滑块完成拼图,通过后发送验证码
独立第三方 AI 评测平台 · 只用实测数据
DualGS 是一种面向沉浸式以人为中心的体积视频的双高斯表示方法,出自学术研究项目,目标是让动态人物场景既能保真重建、又能高效压缩与实时渲染。它把外观与几何拆成两套高斯表示分别建模,以缓解单套表示在动态人物上的拉扯,适合 VR/AR、数字人与虚拟制片方向的研究和工程探索。它仍属研究性质的工具链,需要 3D 图形与神经渲染背景,普通创作者难以直接上手。
DualGS 是一套用于沉浸式以人为中心体积视频的表示与重建方法,定位在学术研究与技术验证层面,由研究者发布并公开方法说明。它面向的是需要在 VR/AR、数字人、虚拟制片等场景里重建真实人物动态三维形象的人。
它的核心思路是「双高斯」:把场景拆成两套互补的高斯表示分别承担不同职责,再合成出完整的人体体积结果。这种拆分是为了在人物快速运动、视角变化剧烈时仍保持稳定重建,同时把数据压到可传输、可实时渲染的规模。
不同角色的用法差别很大。研究者会关注它的重建流程与表示设计,用来做对比实验或改进;工程团队会把它当作体积视频管线中的一环,评估能不能接进现有渲染与传输链路;而普通内容创作者基本用不上,因为它不是开箱即用的成品软件,缺少面向非技术用户的编辑与导出界面。
用两套高斯表示分别承载场景的不同部分,再统一合成人体体积结果。相比单一表示,这种拆分在人物大幅运动时更不容易出现几何与外观互相拖累的崩坏。
针对动态人物主体做体积重建,重点保证人体轮廓、衣着褶皱与肢体动作在连续帧中的一致性,而不是把整间房间都同等精度地还原。
表示形式本身按可实时渲染来设计,渲染时不依赖逐帧重跑重型网络,适合接入对帧率敏感的 VR/AR 与交互式展示场景。
把重建结果压到便于存储与网络传输的规模,目标是让体积视频能像普通视频一样被分发,而不是动辄占用超大带宽与磁盘。
在视角覆盖不全、人物动作快或遮挡较多的输入条件下尽量保持稳定,减少重建结果出现空洞、拉丝与闪烁的概率。
研究以人为中心体积视频与高斯表示的研究生和科研人员,可以把它当作对比基线或改进起点,用来验证重建质量与压缩效率的取舍。
正在搭沉浸式人物直播或交互展示管线的团队,可评估它能否作为重建与渲染环节接入现有链路,重点看实时性与数据量是否匹配。
需要把真人演员转成可控三维形象的项目,适合做技术预研,但落地前要自行解决拍摄流程、算力与资产管线,缺一不可。
想给短视频或电商页面加三维人物效果的个人创作者。它不是开箱即用的软件,没有非技术用户能直接用的编辑与导出界面,门槛过高。
打算低成本试水的个人开发者要谨慎:体积重建对多视角采集设备和显卡要求高,硬件投入往往先于效果出现,试错成本不低。
不是。它是一套重建与表示方法,面向的是有 3D 图形和神经渲染基础的研究者与工程团队。想用它得自己搭环境、准备多视角素材并跑通重建流程,普通用户拿不到现成的编辑和导出界面。
普通重建往往把整间房间同等对待,而它把重点放在动态人物身上,并拆成两套高斯表示分工合作。这样做的目的是让人物在快速运动、视角变化剧烈时依然稳定,同时把数据压到能实时渲染和网络传输的规模。
输入侧需要多视角、环绕角度足够的拍摄素材,视角覆盖不足时人物背面和遮挡区域容易出问题。计算侧需要能支撑实时渲染的显卡。这两项任一不满足,效果都会明显打折。
基本不行。它没有面向非技术用户的界面,采集、重建、压缩、渲染每一步都要自己处理,过程中还涉及大量参数调整。数字人内容创作者更适合先用成熟的成品工具,把这类方法当技术储备看。
沉浸式人物直播、VR/AR 交互展示、虚拟制片里的真人三维形象重建,都是它设计时的目标场景。这些场景的共同点是既要保真,又要能实时渲染和高效分发,正好对应它的双高斯设计与压缩取向。
建议先固定一段人物动作和一组视角作为对照,再分别去动几何侧和外观侧的表示。两侧一起改会分不清效果来自哪一处。压缩环节可以单独拿出来做消融,看数据量下降时质量损失出现在哪里。