SPLATIFY多智能体系统：读一篇3DGS论文，半小时内生成可训练代码

2023年8月，《3D Gaussian Splatting》这篇论文面世，靠一堆三维空间里的“高斯小球”把实时渲染三维场景做了出来，速度和画质都压过了当时流行的神经辐射场方法。论文一下子火了。

火成什么样？

到现在还不满三年，围绕这项技术的后续论文已经超过1500篇，而且平均每天还多出大约3篇。论文多，听着像领域繁荣的信号。可对想跟进最新研究的科研人员来说，真实感受是：每天一睁眼，世上又冒出三篇没看过的论文，其中四成压根不放代码。

放代码的那六成，也没好到哪去。

这些论文多数是从英伟达INRIA实验室发布的原始3DGS代码库“fork”出来的分支，各作者改动的地方不同，命名习惯不同，连渲染的基本假设都可能不同。想拿某篇论文的方法去跟另一篇比，常常发现两边代码对不上号，效果没法直接比较。要复现一篇新论文，有经验的研究者一般得手动重写一到两周，还得反复调试。

SPLATIFY就是冲这件事来的。它是加州大学圣地亚哥分校研究团队做的多智能体系统，输入一篇3DGS论文，几分钟到半小时之内就能输出一份可以直接训练的代码。这还不算完，它能自己找出已有方法的短板，把多篇论文的技巧拼起来组合，让效果超过原论文。甚至能跨到物理学文献里找灵感，做出前人没做过的新方法，比如给星云渲染、肥皂泡彩虹光泽这类3DGS从没碰过的场景造一套全新算法。

下面就把这套系统拆开看看，它到底怎么做到的。

为什么“读论文写代码”比想象中难得多

有人会说，GPT现在这么强，读论文写代码还不是手到擒来？

研究团队真试过。GPT-5.2、Gemini 3.1 Pro、DeepSeek 3.2这些顶级模型，加上专门做论文转代码的Paper2Code和AutoP2C，被安排去实现10篇从未公开代码的3DGS论文。结果是全军覆没，没有一个系统能生成可以正常训练的代码。

问题出在哪？

3DGS的代码有一种特殊的脆弱性。它不是普通Python脚本，背后挂着一套CUDA渲染后端，训练过程中还有个叫“自适应密度控制”的机制，会依据梯度信息动态分裂、合并、删除那些代表场景的小高斯球。这套逻辑环环相扣，哪个环节接错了线，代码表面上能跑，训练到后期却会突然崩掉，或者PSNR（峰值信噪比，衡量渲染图像和真实图像相似度的指标，数值越高说明渲染越准）长时间卡在某个数值不再上涨。

打个比方，你照着说明书给汽车换零件，螺丝都拧上了，发动机也能打着火，开出去五十公里才发现刹车系统的某根线接错了。短途试车根本看不出问题，只有真正跑起来才暴露。生成式AI写代码也一样，它能写出“看起来对”的代码，但只有真正跑完几万步训练，才能看出密度控制有没有出岔子。不做长时间的训练监控，这种隐患会一直潜伏到真正要用这个模型的时候才爆发。

SPLATIFY的设计者清楚，要解决这个问题，光让AI“读懂论文”不够，必须给AI一套结构化的脚手架，让它没法偏离正轨。

语法的边界：让AI只能在规定的轨道上发挥

SPLATIFY第一个核心设计，是给gsplat（一个开源的高斯泼溅渲染库）定义了一套上下文无关文法。

上下文无关文法：一种形式化的规则系统，规定哪些代码组合“合法”、哪些“非法”，常用在编程语言的语法设计里。

听着有点抽象，说白了就是研究团队分析了超过40篇3DGS论文，发现所有论文的改进点，不管是抗锯齿、几何精度、密度策略还是深度监督，都能归到九个固定的“扩展点”里。他们做了个核心模板类GSTemplateModel，标准的高斯泼溅渲染、密度控制、球谐函数调度、相机优化等公共逻辑全都写好了。AI智能体要做的不是从零写一个完整系统，而是继承这个模板，只往九个预留接口里填代码，比如要加一个新的正则化损失，就只用重写compute_custom_losses()这一个函数。

不设这套语法约束会怎样？

消融实验显示，拿掉CFG约束之后，代码可训练的成功率由100%降至70%；失败案例里，智能体把密度控制逻辑放错位置、优化器参数没接对的情况占了不少。

这就像给实习生布置任务，不是甩给他一张白纸让他从头设计整个系统，而是给他一块带插槽的电路板，告诉他哪几个插槽留给电源、哪几个留给信号线，他只需把元件插进正确的槽位。给白纸的话，实习生再聪明，也可能把电源线和信号线接反，整块板子一通电就冒烟。带插槽的电路板从物理结构上就杜绝了接反的可能，这不是约束创造力，而是把创造力限定在不会出错的空间里。

追踪代码的“亲戚关系”：fork感知的引用恢复

第二个难点就是刚才说的，3DGS论文大量互相fork。

论文里常写“我们在XX基础上加了YY”，但代码层面的继承关系往往比文字描述复杂得多。SPLATIFY举了个例子，有一篇叫Trick-GS的论文，组合了来自七篇不同论文的八种技巧：从Self-Organizing Gaussians借来的体积遮罩、从LightGaussian借来的重要性剪枝、从E2E-RD借来的球谐波段遮罩，等等等等。

光看文本层面的引用关系，最多只能知道“这篇论文引了那篇”，具体哪个函数、哪行代码被借走，根本说不清。SPLATIFY换了个做法：对每篇被引论文，先查它的代码库是不是从已知基础代码库fork出来的——原始3DGS、Mip-Splatting、2DGS、Scaffold-GS都在此列。若是，就比对fork与父代码库之间的结构化差异，给每处改动打上语义标签，例如“损失函数/深度扭曲”。碰上跨多代fork的情况，还会顺着继承链一路往上追，把整条修改栈还原出来。

Fork是开源代码里的一个说法，指的是基于某个已有代码库复制出一个独立新版本再改，好比从树上剪根枝条重新种。

走完这套流程，Trick-GS这样一篇论文会被还原成一张依赖图，里头涉及12篇相关论文。GaussianPro能扩到8层依赖，Scaffold-GS和PGSR则各有7层。

打个比方，这事儿跟查案时追资金链差不多：有人嘴上说“这笔钱是朋友借的”，那不作数，得把银行流水真拉出来，看钱从哪个账户出去、中途倒了几手，来源才落得实。引用关系要是只听作者口头交代，代码层面真正的血缘就查不到，照着复现出来的东西，关键细节多半会丢，甚至张冠李戴，把别的论文里的技巧安到不对的位置上。消融实验的结果是，把这套fork感知机制拿掉，30%的创新点会直接变成空白，压根没实现。

Graph of Thought：按正确顺序一块块搭积木

语法约束和依赖关系图都有了，下一步才轮到真正动手生成代码。

主控智能体用Graph of Thought（思维图谱）来组织代码生成：先把论文的贡献点归到前面说的九个扩展点里，确认组合方式合法，再按拓扑依赖顺序逐个文件生成，每写完一个文件就做一次冒烟测试。

所谓拓扑依赖顺序，是指在一个多任务相互依赖的系统里，先做不依赖别人的任务，再逐步推进依赖它们的任务，保证每一步开工时前置条件都已就绪。

消融实验里有个数字很能说明问题：去掉GoT，直接让GPT-5.2一次性生成所有代码，评分从0.97暴跌到0.49。新颖点的保真度即便还不错，代码本身也会因为破坏依赖顺序而整体垮掉，经常生成互相矛盾的大文件。

这就像盖房子，不能先盖房顶再打地基，得先打地基、再砌墙、最后上房顶，每一步都要等前一步的混凝土凝固。图省事一口气全堆上去，地基没稳就盖房顶，整栋楼迟早塌。GoT做的就是这个事：严格按先后次序，一步步把代码垒稳。

四路反馈：让AI学会“看图说话”，也学会“盯盘”

代码生成完只是第一步，真正决定质量的是后面的反馈闭环。

SPLATIFY先让生成的代码跑3000步冒烟训练，再由一个“批评智能体”从四个分支审视渲染出的图像。

第一路是指标分支，算局部窗口的PSNR和SSIM误差图，找出哪块区域渲染得特别差。SSIM指结构相似性指数，是另一个衡量两张图片相似程度的指标，关注结构和纹理层面的匹配，和PSNR互为补充。

第二路是几何分支，专抓“悬浮物”和“重影”这类伪影，靠多视角一致性校验来识别。第三路是语义分支，直接让一个视觉语言模型（VLM）看图说话，给出具体诊断和候选修复方案。VLM即视觉语言模型，一类既能理解图像又能理解文字的AI模型，可以直接“看图说话”。

第四路是SPLATIFY特有的，叫PSNR训练曲线监控。

这路反馈的逻辑挺有意思。3DGS训练速度特别快，几十分钟就能跑完30000步，AI完全有条件盯着整条训练曲线看，而不只是看前3000步的快照。研究团队发现3DGS有个特点：密度控制阶段通常在第15000步左右结束，这之后如果剪枝或者损失调度写错了，问题往往要到这个节点之后才会暴露，短时间冒烟测试根本看不出来。

系统会专门盯防两种故障：一种是“后期崩溃”，PSNR在15000步之后突然跳水；另一种是“停滞平台”，连续5000步PSNR提升不到0.1分贝。一旦发现，智能体会把故障定位到具体的某个扩展点，发出针对性的补丁。

这就像体检，只在早上八点抽一次血，很多饭后才显现的指标异常根本查不出来。要真正了解身体状况，得戴上24小时动态监测设备，记录全天心率和血糖波动曲线。3DGS训练快到可以负担这种“全程监测”，这是它和训练动辄几天的神经辐射场方法相比一个隐藏的优势，SPLATIFY恰好把这个优势用上了。

消融实验显示，去掉冒烟测试，可训练率从100%掉到50%，是所有被测试组件里影响最大的单项。去掉结构检查，分数从0.97降到0.89，可训练率降到80%。

从复现到超越：AI自己给论文“打补丁”

讲到这里，SPLATIFY只是做到了“忠实复现”，论文说什么它实现什么。但研究团队显然不满足于此。

他们给SPLATIFY设计了第二层能力，叫组合式发现。思路是这样：很多3DGS论文只解决了一个局部问题，比如某篇论文专注提高密度控制的效率，但对渲染细节的正则化做得一般。SPLATIFY会在复现完一篇论文之后，再跑一遍诊断流程，去知识库里找能弥补这个弱点的互补技巧，自动组合进来，然后验证组合之后的效果有没有真的变好。

全程没有人工插手。这套搜索机制沿用了谷歌DeepMind的FunSearch思路，一共维护8个“探索岛屿”，每个岛屿配一个独立智能体；每一轮，各个智能体都会交出一个变体方案，可能换一种密度策略，也可能添一项新的损失项。

多保真度级联是一套省算力的评估办法：先拿较少的训练步数（比如2000步）把明显不靠谱的方案刷掉，留下的用更多步数（7000步）接着筛，最后只有少数候选能跑满完整训练（30000步），一级一级往下淘汰。

按这套流程走一轮，8个候选先在第2000步砍掉一半，剩下4个到7000步再砍一半，最后2个跑完30000步才分出高下。排名依据是一个加权分数，把PSNR、SSIM、LPIPS三项综合起来算，其中LPIPS是衡量图像感知相似度的指标，数值越低代表越接近人眼感知的真实图像。

团队还设了一组对照：把智能体探索换成随机采样。结果随机采样烧掉8倍的token，提升效果却只有四分之一。这个数字挺能说明问题——智能体靠的不是碰运气，它是在真正做“诊断”。

实际效果如何？拿Opti3DGS这篇论文复现之后再做一轮优化，PSNR从27.71升到28.05，靠的是自适应密度化阈值和不透明度熵正则化。DWTGS那篇涨得最凶，从18.68直接冲到21.09，提高2.4分贝，背后是补上了补丁结构损失，外加不透明度、法线、深度三重正则化。

打个比方：你请人把一本外语烹饪书译成中文，译完之后这位译者又照着书做了几道菜，尝出某道菜咸淡不对，于是自己去翻别的菜谱，借来一个调味手法，把菜做得更好吃。要是只满足于逐字翻译，做出来的菜最多和原书打平，不会超过原书。SPLATIFY的做法，就是在“忠实翻译”之上再多走一步。

跨界造新物种：当3DGS遇上星云物理学

最出人意料的，是SPLATIFY的第三层本事——跨领域发明方法。

团队挑了几类3DGS社区从没人碰过的场景，星云和肥皂泡就在其中，交给SPLATIFY自己去想办法。

先看星云。它是一种光学稀薄的发射介质，从物理上说，光强就是沿视线方向的纯粹叠加积分，既没有遮挡也没有吸收。可标准3DGS用的是透明度叠加公式，这套公式天然会把每个高斯球的不透明度往0或1两端推，渲染星云时就冒出一圈圈本不该有的“不透明外壳”伪影。

Kolmogorov湍流描述的是流体内能量在不同尺度上怎么分布、怎么传递，其能量谱遵循k的负5/3次方规律，也就是说流体的精细结构主要落在高频细节上。

更棘手的是，星云的发光模式正好遵循Kolmogorov湍流的能量谱规律，细节集中在高频成分，而传统像素空间损失函数对高频天生不敏感，很容易把这些特征“磨平”。

于是SPLATIFY的智能体自己去检索辐射传输理论和湍流理论的文献，拿出六项改动：每个高斯球配一个独立发射参数，让亮度和不透明度分开；加透明度上限损失，把不透明度硬压在不高于0.95；引入基于二维傅里叶变换的频谱损失，专门对齐高频细节；加尺度各向同性惩罚，让高斯球保持球形、别被拉成扁片；用多尺度L1监督捕捉湍流的层级结构；球谐函数阶数直接设为0。

这个新方法被命名为NebulaGS。效果上，PSNR从普通3DGS的31.19分贝提到32.52分贝，SSIM从0.862升到0.914；各视角之间的渲染标准差从6.29大幅降到2.62，说明视角一致性也好了不少，渲染速度则几乎没受影响。

再说肥皂泡，这里的核心物理是薄膜干涉：光线穿过一层薄液膜，会在上下两个表面之间来回反射，不同波长的光相位差不一样，于是呈现出我们看到的五彩彩虹色泽。其背后是经典光学里的Airy函数，它描述反射率怎样随波长变化。

智能体从这个公式里提取出物理预测的色度信息，随后发现两件事：标准3DGS的球谐函数系统根本表达不了这种随角度剧烈变化的色彩；不透明度的二值化倾向又会造出不该有的“外壳”——薄膜真实的峰值反射率只有大约8%，而3DGS习惯把不透明度往极端值推。

最终方案叫BubbleGS，加了薄膜厚度参数、色度匹配损失、透明度上限、扁平度正则、厚度图平滑约束等六项改动，PSNR从26.97升到27.81，LPIPS从0.264降到0.244。因为多了一次厚度光栅化计算，渲染速度从99.1帧每秒降到69.1帧每秒，但仍远高于实时渲染的门槛。

这两个案例真正打动人的，不是涨了多少分贝，而是全程没有哪位人类专家告诉AI“你该去读辐射传输理论”或者“你该查一下Airy公式”。好比你把一件从没做过的活交给助理，比如“给这个从没下过雨的沙漠小镇设计一套排水系统”：平庸的助理会翻出以前城市排水的案例照搬；真正厉害的助理会先去查沙漠气候学和土壤渗透的资料，弄明白这里的降雨物理特性和一般城市完全不同，再照着设计。SPLATIFY就是后者，它没有在现有3DGS论文库里缝缝补补，而是跳出这个领域去找物理学原理，再把原理翻译成代码。

30篇论文的大考：SPLATIFY-BENCH

团队专门建了一个评测基准，名叫SPLATIFY-BENCH，收录30篇论文，分成三组。

第一组是10篇完全没有公开代码的论文，请专家花一到两周做出参考实现，保证AI模型在预训练阶段不可能“背过”这些代码，从而排除数据污染。第二组是10篇带原始代码库的论文，可以把SPLATIFY生成的代码和原作者代码直接对比。第三组同样10篇，特意挑了新颖点多、容易验证的论文，用来检查SPLATIFY会不会“偷工减料”，漏掉重要创新点。

第一组的结果是：SPLATIFY的渲染质量平均与专家实现相差不超过0.5分贝PSNR和0.02的SSIM；而所有对照基线，包括Paper2Code、AutoP2C以及几个主流大模型直接生成，都没能产出可训练的代码。

第二组对比针对的是原作者代码库。SPLATIFY的平均偏差压在0.3分贝以内，还把那些各写各的代码统一改造成了标准的gsplat插件格式，彼此之间方便比较。

第三组评测看的是新颖点覆盖率，结果更能说明问题。研究团队请来独立的人类专家，把生成代码和论文原文一行行对照，标注每个创新点属于完全实现、部分实现还是彻底遗漏，同时核查超参数设置准不准——有的系统会把四元数姿态表示错换成欧拉角，或者在本该用Sigmoid的地方错用了Tanh。SPLATIFY在所有测试论文上的语义得分都在0.94分以上；DeepSeek 3.2和GPT-5.2 Thinking这类顶级大模型，得分普遍只有0.4到0.7之间。

这组数据背后有个现象值得琢磨：大模型生成的代码能跑起来，跟这段代码忠实还原了论文的创新点，完全是两回事。系统完全可能产出一份能训练、能出图、PSNR数字看着也还行的代码，但背地里悄悄丢掉了论文最核心的那个创新机制，只是凑巧蒙对了一个过得去的结果。

写在后面

论文里有个细节让人反复想了很久，就是消融实验中“一次性生成”对比“按顺序生成”的分数差距：0.97对0.49，几乎腰斩。这说明一个容易被忽视的事实——大模型的知识储备和它组织代码的能力，其实是两件相对独立的事情。GPT-5.2完全清楚这些论文里讲了什么新颖技巧，评分表里“新颖点保真度”那一栏数字并不低；但知道归知道，让它按正确顺序把这些知识变成一份能跑的工程代码，是另一套完全不同的本领。未来评价一个AI系统到底“懂不懂”某个领域，光看它能不能复述知识不够，还得看它能不能把知识组织成一个经得起时间考验、结构完整的产出。

另外有个细节值得单独说。NebulaGS 和 BubbleGS 这两个跨界案例中，智能体拿出的方案全都落在“训练时损失函数的修改”上，渲染器本身的光栅化代码一处都没动。这背后其实是个很朴素的工程思路：碰上陌生领域的问题，未必得把底层架构推倒重来；多数时候把约束条件找准，在现有框架的接口上打补丁，代价反而最小，风险也最容易控制。

论文里也有些地方没展开。目前这套系统只在 gsplat 这一个渲染库上做过验证，作者在结论部分提到，这套架构思路理论上能迁移到三维重建、机器人仿真等领域，但具体怎么迁、迁过去效果怎样，论文没给实验数据。这其实是个很自然的追问：哪天要是真冒出“RoboSplatify”或者“ReconSplatify”这样的后续工作，大概就是这个设想落地的时候。

Q&A

Q1：SPLATIFY是什么？

A：SPLATIFY 是加州大学圣地亚哥分校团队做的一套多智能体系统，能把 3D 高斯泼溅（3DGS）相关论文自动转成可训练的 gsplat 代码。原本人工复现要花一到两周，现在几分钟到半小时就能搞定。

Q2：SPLATIFY和GPT-5.2这些大模型直接生成代码有什么区别？

A：差别相当大。论文实验显示，GPT-5.2 等前沿大模型直接生成的 3DGS 代码没法稳定训练，可训练率几乎为零；SPLATIFY 则借助语法约束、fork 感知的依赖追踪和多路反馈机制，在测试论文上把可训练率做到了 100%，渲染质量也接近专家实现的水平。

Q3：SPLATIFY真的能发明全新的3DGS方法吗？

A：能。论文展示了SPLATIFY自主检索星云物理学和薄膜光学理论，为星云渲染和肥皂泡彩虹效果这类3DGS从未涉及的场景设计出NebulaGS和BubbleGS两套新方法，效果均明显优于普通3DGS，且全程没有人工干预。