Alchemist

Alchemist

AI TOOL PROFILE工具资料

用参数滑块精确控制照片中物体的材质属性

官网地址 https://research.google/blog/smoothly-editing-material-properties-of-objects-…

访问官网
价格官网未标价
平台Web
归类AI 绘画生图
收录2024-07-26
复核2024-07-26
编辑评分 4.2 / 5

Alchemist编辑总结

EDITOR REVIEW编辑评测

Alchemist 是 Google Research 提出的图像材质编辑技术,论文发表于 CVPR 2024,作者为 Mark Matthews 与 Yuanzhen Li。它让用户对照片中物体的粗糙度、金属感、基色饱和度和透明度做参数化调整,同时保持物体的几何形状不变,甚至能在物体变透明后补全其背后的背景。做法是用基于物理的渲染生成合成数据集,再对文本到图像模型做微调,从而继承其真实世界理解能力。主要限制在于合成数据只覆盖 100 个家居物品 3D 模型,且完整实现需要扩散模型与渲染管线,普通用户无法直接上手。

Alchemist是什么?

Alchemist 是 Google Research 提出的一种图像编辑方法,论文题为《Alchemist: Parametric Control of Material Properties with Diffusion Models》,发表在 CVPR 2024,作者是软件工程师 Mark Matthews 和 Yuanzhen Li。它要解决的问题是:在照片里改一个物体的材质观感很容易破坏真实感,而这种编辑通常需要专业软件技能。

技术上,它不直接在原图上做编辑,而是借助文本到图像模型对真实世界的光照与材质先验。先用传统计算机图形学和基于物理的渲染技术渲染一批合成数据,以此为监督信号对生成模型做微调,得到一个可以参数化调节材质的模型。用户可以分别控制粗糙度、金属外观、基色饱和度和透明度四个属性,物体形状、光照和机位保持不变;当物体被调成透明时,模型还能补出它原本挡住的背景。

对研究者而言,这是一套可复现的方法与论文;对设计、电商和影视预览场景而言,它意味着把原本需要精修师手工处理的材质替换,变成几个连续可调的参数。目前它是一项研究技术,官网未公开可直接使用的产品入口。

Alchemist核心功能

CAPABILITIES工具标签

参数化材质编辑

以标量参数连续调节物体的材质属性,而不是靠文字描述反复试。粗糙度、金属外观、基色饱和度、透明度四类属性可分别调节,0 代表无编辑效果。

保持几何形状

编辑材质时物体形状、光照和机位不变。对比之下,直接把蓝色房子改成黄色常常会连带改变房子形状,StyleDrop 也无法在换风格时保住物体轮廓。

透明度与背景补全

把物体调成透明后,模型能补出它原本遮住的背景,而不是留下空洞或灰块。这是单纯做图层分解难以自然完成的部分。

基于物理渲染的合成数据

用电影电视特效行业成熟的基于物理渲染技术生成训练数据。每个物体先随机选材质、机位和光照生成大量基准图,再只改一项材质属性生成多档强度的编辑版本。

覆盖 100 个 3D 模型

合成数据集由 100 个几何形状各异的家居物品 3D 模型构成。模型数量直接决定了这套方法见过多少种物体外形,超出范围的物体需要另行验证。

Alchemist值不值得用?

VERDICT工具标签

当你要做的是材质层面的精确调整——把杯子调得更亮、把墙面漆换成指定饱和度、让某个物体透明露出背景,同时不想动它的形状——这套方法的思路值得参考,因为它把"调到什么程度"变成连续可调的参数,而不是一次次重写提示词碰运气。当你需要的是通用图像编辑、想直接拿来处理自己的照片、或者物体不在那 100 个家居 3D 模型覆盖范围内时,它并不合适:这目前是发表在 CVPR 2024 的研究方法,不是开箱即用的产品,论文和复现细节是主要产出。

建议选它的情况

  • 做学术研究,需要复现或对比参数化材质编辑方法
  • 处理家居类物品照片,需要保持形状只改材质观感
  • 需要把物体调透明并补全背景,用于商品图或效果预览
  • 希望用连续参数而非提示词来控制编辑强度

不建议选它的情况

  • 想找一个打开网页就能上传图片编辑的成品工具
  • 待编辑的物体不属于那 100 个家居 3D 模型覆盖的类型
  • 不具备搭建扩散模型与渲染流程的技术条件

Alchemist使用建议

HOW TO USE工具标签
入门先把路子走对
  1. 先读论文再复现论文《Alchemist: Parametric Control of Material Properties with Diffusion Models》发表在 CVPR 2024,方法细节、数据集构造和参数定义都在论文里,先通读一遍比直接看演示视频省时间。
  2. 理清四个可调属性粗糙度、金属外观、基色饱和度、透明度是四个独立的调节维度,每次只改一个属性最容易看出效果差异,也方便排查是哪个参数导致的失真。
进阶省时间也省钱
  1. 理解合成数据的构造逻辑数据集的做法是先随机材质、机位、光照生成基准图,再对每个基准图只改一项材质属性、按不同强度生成多个版本。想扩展数据集时沿用这套单变量改动思路,能得到干净的监督信号。
  2. 从透明编辑看背景补全透明度是四个属性里最能体现模型能力的:物体透明后原本被遮挡的背景需要被合理补出。评估复现效果时,可以优先看透明编辑这一项的边界表现。
  3. 关注形状保持这个对比基准先前方法改材质时容易连带改变物体形状,例如把房子从蓝改黄会改掉轮廓,StyleDrop 也无法在不同风格间保持物体形状。做效果评估时把形状保持作为单独一项来测。

Alchemist适合谁用?

WHO IS IT FOR工具标签

计算机视觉研究者

推荐

关注图像分解、生成模型材质编辑方向,需要复现 CVPR 2024 的方法并做后续对比实验,论文与合成数据构造方式是直接可用的素材。

影视与广告特效团队

有条件

需要精确控制材质观感同时保住物体形状,参数化编辑比反复重写提示词更可控;但需要自行搭建扩散模型与渲染流程。

电商商品图优化团队

有条件

家居类商品若形状接近数据集中的 100 个物品模型,可参考其思路做材质微调;非家居品类和自建商品库不在覆盖范围内。

普通图片编辑用户

不推荐

想找现成的网页或 App 上传照片就能改材质,这套方法目前是研究技术,没有可直接使用的产品入口,不适合作为日常修图工具。

Alchemist优点和缺点

PROS & CONS工具标签

优点

  • 粗糙度、金属感、基色饱和度、透明度四个属性可分别做参数化调节
  • 编辑材质时保持物体几何形状、光照与机位不变
  • 物体调透明后能补全原本被遮挡的背景
  • 用基于物理渲染的合成数据训练,材质属性拥有完整控制权
  • 沿用文本到图像模型的真实世界理解,无需真实配对训练数据

缺点

  • 合成数据集只覆盖 100 个家居物品 3D 模型,物体类型有限
  • 属于 CVPR 2024 发表的研究方法
  • 编辑强度的标量定义是启发式设计选择,缺少统一标准
  • 先前图像分解方法中材质与光照的歧义问题并未被完全消除

Alchemist关键指标

MEASURED FACTS工具标签
指标数值数据来源
合成数据集 3D 模型数量 100 个家居物品 3D 模型 Google Research 官方博客
论文发表会议 CVPR 2024 Google Research 官方博客
博客发布日期 July 26, 2024 Google Research 官方博客

Alchemist常见问题

FAQ工具标签
Alchemist 能调哪些材质属性?

四类:粗糙度、金属外观、基色饱和度、透明度。每次编辑只改其中单个属性,物体形状、光照和相机角度保持不变。其中透明度编辑会触发背景补全,物体变透明后模型会生成它原本遮住的背景内容。

它会改变物体的形状吗?

不会。保持几何形状是这套方法的核心目标之一。对比来看,把房子从蓝色改成黄色时,已有方法常常连带改掉房子的形状;StyleDrop 虽然能生成不同外观,但在不同风格之间保不住物体形状。Alchemist 通过参数化编辑避开了这个问题。

它和 StyleDrop 有什么不同?

StyleDrop 侧重生成不同外观,但在不同风格间不保留物体形状。Alchemist 走的是参数化路线,用标量参数控制材质属性,编辑时保持物体形状、光照和机位不变,并额外支持透明化后的背景补全。

训练数据是怎么来的?

用传统计算机图形学和基于物理渲染技术渲染合成数据集,这套技术已在电影电视特效中验证多年。起点是 100 个几何形状各异的家居物品 3D 模型,每个模型随机搭配材质、机位和光照生成大量基准图,再对每张基准图只改一项材质属性,生成多个不同编辑强度的版本。

编辑强度怎么控制?

编辑强度是一个标量值,用来改变材质属性的程度,0 表示不做编辑。论文中把这个标量的定义方式称为启发式设计选择,也就是说具体取值方式是经验性的,没有唯一标准答案。

现在能直接用它编辑自己的照片吗?

这是一项发表在 CVPR 2024 的研究方法。要使用需要自行搭建扩散模型与基于物理渲染的流程,并准备符合其数据构造方式的训练数据。