拖动式点操控
用户选定图像上的控制点并拖向目标位置,物体随之变形,可精确控制像素移动方向,改变姿势、形状、表情与布局。
拖动滑块完成拼图,通过后发送验证码
独立第三方 AI 评测平台 · 只用实测数据
在生成图像上拖动任意点,精确改变姿势、形状与表情
Drag GAN 是马克斯·普朗克信息学研究所、MIT、宾夕法尼亚大学与 Google AR/VR 联合提出的交互式图像编辑方法,发表于 SIGGRAPH 2023。它把「拖动」作为控制生成对抗网络的方式:用户选定一个控制点并拖向目标位置,图像中的物体就会随之变形,姿势、形状、表情和布局都能精确调整。方法由基于特征的运动监督和新的点追踪两部分组成,能在动物、汽车、人物、风景等类别上工作,并支持通过 GAN 反演编辑真实图片。短板也很明显:它是研究项目而非成品软件,站点只提供论文与代码下载,没有可在线直接使用的界面,站点素材仅限非商业用途。
Drag GAN 是一项图像编辑研究,作者来自马克斯·普朗克信息学研究所、Saarbrücken 视觉计算交互与人工智能研究中心、MIT、宾夕法尼亚大学和 Google AR/VR,论文发表于 SIGGRAPH 2023。它解决的问题是让生成对抗网络变得可精确控制,而不必依赖人工标注的训练数据或先验三维模型。
方法由两部分构成:基于特征的运动监督,推动控制点向目标位置移动;以及一种新的点追踪方式,利用生成对抗网络的判别性特征持续定位控制点。因为编辑发生在生成对抗网络学到的生成图像流形上,输出往往能保持真实感,甚至在需要补全被遮挡内容、或让形变遵循物体刚性时也能成立。改变的范围覆盖姿势、形状、表情与布局。
研究者可以直接下载论文与代码,把方法接到自己的生成模型上做实验。创作者和设计师可以理解这类交互范式——用拖动代替参数调节——但使用前需要具备运行代码的环境。真实图片的编辑则需要借助 GAN 反演,属于进阶用法。
用户选定图像上的控制点并拖向目标位置,物体随之变形,可精确控制像素移动方向,改变姿势、形状、表情与布局。
通过特征层面的监督信号推动控制点向目标位移,不依赖人工标注的训练数据,也不需要先验三维模型。
利用生成对抗网络的判别性特征持续定位控制点位置,使拖动过程中控制点不会跟丢,保证多步操作连贯。
覆盖狮子、猫、狗、马、大象、人脸、人体、汽车、显微镜、风景等类别,演示中还包括真实图片的处理。
形变在生成图像流形上进行,能在挑战场景下生成合理的被遮挡内容,并让形变尽量遵循物体的刚性。
借助 GAN 反演把真实图片映射到生成空间,再对映射后的结果执行拖动操作。
当你的目标是理解或复现「拖动控制生成模型」这一交互范式时,Drag GAN 值得深入研究:它给出了运动监督与点追踪两部分的完整设计,并在图像操控与点追踪任务上做了定性与定量对比。当你想找一个打开网页就能修图的工具时,它不合适——站点只提供论文与代码,没有在线编辑界面,上手需要自己搭建运行环境。另外站点素材采用 CC BY-NC 4.0 许可,仅限非商业使用。
需要研究点操控与点追踪机制,论文中给出了与既有方法在图像操控和点追踪任务上的定性与定量比较,可直接作为基线。
自己具备训练与推理生成对抗网络的环境,可下载代码后在动物、人脸、汽车等类别上试验拖动交互。
想理解「拖动代替调参」的交互逻辑,看演示视频能获得直观认识,但落地到作品仍需编程基础。
站点图像、文本与视频按 CC BY-NC 4.0 仅限非商业使用,接商业项目不能直接取用这些素材。
没有在线编辑界面,也没有面向普通用户的操作入口,需要自行搭建环境才能体验拖动效果。
是一项研究工作,论文收录于 SIGGRAPH 2023 会议论文集,作者来自马克斯·普朗克信息学研究所、MIT、宾夕法尼亚大学与 Google AR/VR 等机构。站点提供论文与代码下载,没有可直接打开的在线编辑界面。
分两部分:基于特征的运动监督负责推动控制点向目标位置移动;新的点追踪方法利用生成对抗网络的判别性特征,持续定位控制点位置,使多步拖动过程中控制点不丢失。
可以,但需要借助 GAN 反演。先把真实图片映射到生成对抗网络学到的生成空间,再对结果执行拖动操作,页面演示中包含真实图片的处理示例。
不能。站点图像、文本与视频文件按 Creative Commons CC BY-NC 4.0 许可提供,仅限非商业用途。用于自己的作品时需注明论文标题与作者列表。
演示覆盖狮子、猫、狗、马、大象、人脸、人体、汽车、显微镜与风景等类别,并包含真实图片的处理。改变的范围包括姿势、形状、表情和布局。
传统方式依赖人工标注的训练数据或先验三维模型来控制生成对抗网络,灵活性与精度受限。Drag GAN 直接在图像上拖动控制点,用户能精确决定像素往哪里移动,交互更直观。