A Diffusion Approach to Radiance Field Relighting using Multi-Illumination Synthesis

这是一篇来自 Inria 的研究工作，处理的是辐射场重打光中的数据不足问题。多视角拍摄通常只在单一光照条件下完成，要重建可任意改变光照的辐射场因此非常困难，如果场景里包含多个物体，难度还会进一步上升。

方法上分两步：先在一个多光照数据集上微调 2D 图像扩散模型，并让光照方向作为条件，这样就能把一次单光照拍摄扩充成一组多光照数据——这些数据看起来真实，但可能并不完全一致。接着用这些扩充出来的数据，配合 3D Gaussian splats 表示，构建出可重打光的辐射场。为了让低频光照的方向能被直接控制，外观用一个以光照方向为参数的多层感知机来表示，并通过优化每张图像的辅助特征向量来增强多视角一致性、弥补不准之处。

对研究者来说，它的价值在于把 2D 扩散模型的先验迁移到 3D 重打光任务上，并在合成与真实数据上给出了结果；对普通用户而言，它是论文与结果展示，而不是可直接操作的编辑器。

当你的研究或生产流程需要从单光照多视角素材得到可重新打光的 3D 场景时，这套方法值得关注，因为它把 2D 扩散模型的先验用在了 3D 重打光上，并明确面向包含多个物体的完整场景，而不是只处理单个物体。反过来，如果你要的是今天就能上手、导入照片点几下就出结果的产品，它并不合适：这是研究性质的工作展示，没有公开的定价、授权与操作界面，能否落地还取决于你是否具备复现论文与训练模型的能力。把它当作技术路线参考和数据增广思路的来源，比当作成品工具更贴合它的定位。