参数化材质编辑
以标量参数连续调节物体的材质属性,而不是靠文字描述反复试。粗糙度、金属外观、基色饱和度、透明度四类属性可分别调节,0 代表无编辑效果。
拖动滑块完成拼图,通过后发送验证码
独立第三方 AI 评测平台 · 只用实测数据
用参数滑块精确控制照片中物体的材质属性
官网地址 https://research.google/blog/smoothly-editing-material-properties-of-objects-…
Alchemist 是 Google Research 提出的图像材质编辑技术,论文发表于 CVPR 2024,作者为 Mark Matthews 与 Yuanzhen Li。它让用户对照片中物体的粗糙度、金属感、基色饱和度和透明度做参数化调整,同时保持物体的几何形状不变,甚至能在物体变透明后补全其背后的背景。做法是用基于物理的渲染生成合成数据集,再对文本到图像模型做微调,从而继承其真实世界理解能力。主要限制在于合成数据只覆盖 100 个家居物品 3D 模型,且完整实现需要扩散模型与渲染管线,普通用户无法直接上手。
Alchemist 是 Google Research 提出的一种图像编辑方法,论文题为《Alchemist: Parametric Control of Material Properties with Diffusion Models》,发表在 CVPR 2024,作者是软件工程师 Mark Matthews 和 Yuanzhen Li。它要解决的问题是:在照片里改一个物体的材质观感很容易破坏真实感,而这种编辑通常需要专业软件技能。
技术上,它不直接在原图上做编辑,而是借助文本到图像模型对真实世界的光照与材质先验。先用传统计算机图形学和基于物理的渲染技术渲染一批合成数据,以此为监督信号对生成模型做微调,得到一个可以参数化调节材质的模型。用户可以分别控制粗糙度、金属外观、基色饱和度和透明度四个属性,物体形状、光照和机位保持不变;当物体被调成透明时,模型还能补出它原本挡住的背景。
对研究者而言,这是一套可复现的方法与论文;对设计、电商和影视预览场景而言,它意味着把原本需要精修师手工处理的材质替换,变成几个连续可调的参数。目前它是一项研究技术,官网未公开可直接使用的产品入口。
以标量参数连续调节物体的材质属性,而不是靠文字描述反复试。粗糙度、金属外观、基色饱和度、透明度四类属性可分别调节,0 代表无编辑效果。
编辑材质时物体形状、光照和机位不变。对比之下,直接把蓝色房子改成黄色常常会连带改变房子形状,StyleDrop 也无法在换风格时保住物体轮廓。
把物体调成透明后,模型能补出它原本遮住的背景,而不是留下空洞或灰块。这是单纯做图层分解难以自然完成的部分。
用电影电视特效行业成熟的基于物理渲染技术生成训练数据。每个物体先随机选材质、机位和光照生成大量基准图,再只改一项材质属性生成多档强度的编辑版本。
合成数据集由 100 个几何形状各异的家居物品 3D 模型构成。模型数量直接决定了这套方法见过多少种物体外形,超出范围的物体需要另行验证。
当你要做的是材质层面的精确调整——把杯子调得更亮、把墙面漆换成指定饱和度、让某个物体透明露出背景,同时不想动它的形状——这套方法的思路值得参考,因为它把"调到什么程度"变成连续可调的参数,而不是一次次重写提示词碰运气。当你需要的是通用图像编辑、想直接拿来处理自己的照片、或者物体不在那 100 个家居 3D 模型覆盖范围内时,它并不合适:这目前是发表在 CVPR 2024 的研究方法,不是开箱即用的产品,论文和复现细节是主要产出。
关注图像分解、生成模型材质编辑方向,需要复现 CVPR 2024 的方法并做后续对比实验,论文与合成数据构造方式是直接可用的素材。
需要精确控制材质观感同时保住物体形状,参数化编辑比反复重写提示词更可控;但需要自行搭建扩散模型与渲染流程。
家居类商品若形状接近数据集中的 100 个物品模型,可参考其思路做材质微调;非家居品类和自建商品库不在覆盖范围内。
想找现成的网页或 App 上传照片就能改材质,这套方法目前是研究技术,没有可直接使用的产品入口,不适合作为日常修图工具。
| 指标 | 数值 | 数据来源 |
|---|---|---|
| 合成数据集 3D 模型数量 | 100 个家居物品 3D 模型 | Google Research 官方博客 |
| 论文发表会议 | CVPR 2024 | Google Research 官方博客 |
| 博客发布日期 | July 26, 2024 | Google Research 官方博客 |
四类:粗糙度、金属外观、基色饱和度、透明度。每次编辑只改其中单个属性,物体形状、光照和相机角度保持不变。其中透明度编辑会触发背景补全,物体变透明后模型会生成它原本遮住的背景内容。
不会。保持几何形状是这套方法的核心目标之一。对比来看,把房子从蓝色改成黄色时,已有方法常常连带改掉房子的形状;StyleDrop 虽然能生成不同外观,但在不同风格之间保不住物体形状。Alchemist 通过参数化编辑避开了这个问题。
StyleDrop 侧重生成不同外观,但在不同风格间不保留物体形状。Alchemist 走的是参数化路线,用标量参数控制材质属性,编辑时保持物体形状、光照和机位不变,并额外支持透明化后的背景补全。
用传统计算机图形学和基于物理渲染技术渲染合成数据集,这套技术已在电影电视特效中验证多年。起点是 100 个几何形状各异的家居物品 3D 模型,每个模型随机搭配材质、机位和光照生成大量基准图,再对每张基准图只改一项材质属性,生成多个不同编辑强度的版本。
编辑强度是一个标量值,用来改变材质属性的程度,0 表示不做编辑。论文中把这个标量的定义方式称为启发式设计选择,也就是说具体取值方式是经验性的,没有唯一标准答案。
这是一项发表在 CVPR 2024 的研究方法。要使用需要自行搭建扩散模型与基于物理渲染的流程,并准备符合其数据构造方式的训练数据。