Adobe MAX大会:4项AI实验项目公布,照片可秒变3D场景
IT之家 11 月 11 日消息,每年举办的 Adobe MAX 大会上,Adobe 展示的最令人印象深刻的技术之一,往往是那些仍处于实验阶段、尚未正式推出的创新功能。今天,该公司公布了最新一批实验项目:它们能够将普通图片转换为可探索的 3D 场景,通过与 AI 角色对话来设计角色形象,还能让照片编辑变成简单的复制粘贴
Adobe在今年的MAX大会上亮出了最新一批实验性项目,这些功能尚未正式推出,但演示效果颇为抢眼。据IT之家11月11日消息,它们能把普通图片变成可探索的3D场景,能通过和AI角色对话来设计角色形象,还能把照片编辑简化成复制粘贴。
打头阵的是Project Screen Test,这个项目的思路有些特别,目标是让AI生成角色的创建过程变得更轻松,并最终用于视频内容。
和以往的做法不同,用户不用再靠文字提示词去描述角色该怎么说话、怎么表现。现在可以直接和角色对话,在一种类似演员试镜的环境里对角色进行指导。
具体操作上,用户先要描述角色的一些基本性格特征,比如“焦虑、害羞、笨拙”,再为角色设定声音。声音有三种来源:从预设选项里挑,用文字提示词描述,或者上传一段音频样本让AI参照。
接下来,用户就能像用FaceTime视频通话那样和AI角色聊起来,在对话中继续完善人物设定,包括成长背景、性格、目标、缺点、恐惧,以及一些独特的动作习惯。
角色设计完成后,用户还可以描述希望角色置身其中的环境或情景,系统会据此生成相应的动态试镜视频。
眼下Project Screen Test仍是一个独立的创意实验,未来会不会被整合进其他产品,目前还不清楚。
从实际效果看,很多AI动画角色缺乏灵魂,而这项工具生成的角色个性更鲜明、也更连贯。不过这恰恰是它存在的意义:和传统动画制作相比,AI视频生成能提供的创作控制权要少得多。传统动画里,角色的每个细节都经过创作者有意识的设计,AI生成的角色很难做到这一点。
第二个项目叫Project Sight Span,它能把普通照片和图片转成可供用户探索的3D空间,用户借此重新调整画面的构图和视角。
这项技术能生成原始画面之外的物体和背景,把一张平面图片扩展成完整的三维环境。用户转动视角去查看原本被拍摄者遮挡的背后区域时,系统生成的内容也能和原始画面自然衔接。
不过在3D环境里浏览时,画面中的物体和背景会显得像素化,细节也不够清晰。等用户选定最终视角,系统便会恢复相应画面的分辨率。
Sight Span支持各种平面图像,照片、绘画、插画都行,同时能保留并复现原作品的艺术风格。即使用户调整照片中人物的纹身位置或面部特征,这些细节依然能令人惊讶地保持辨识度,并与原始参考图像高度一致。
这项技术有点像苹果Spatial Reframing空间重构功能的强化版:用户不仅能更大幅度地调整画面中的元素,甚至能彻底改变拍摄角度。不过经过这么大幅度的调整后,最终作品似乎也不太适合继续称为一张照片了。
Project Sound Bender则是一项AI音频混音功能,用户可以像在色轮上移动光标那样,自由调整视频中的音效。
使用时,用户只需上传一段视频,再用文字提示词描述想要的声音效果,比如“冒着气泡的科幻炼金锅声音”。Sound Bender随后会自动生成相应音效,并将其与视频同步。
用户还能靠一个方形的声音控制面板随时调节音效。面板四角各自对应一类由AI生成的声音,比如密集的咕噜声与气泡爆裂声、像岩石沸腾一样的轰鸣、带音高起伏的电子音,以及噼啪作响的电火花声。
用户可以在面板上拖动光标,自由选择希望突出的声音类型,也可以分别为四个角设置不同的音效。
Adobe展示的第四个项目是Project Rinse Repeat,它能让用户复制已经完成的编辑操作,并自动把相同的处理效果应用到同一张照片中的其他人物或物体上。
举个例子,用户花大量时间为照片中的某个人物磨皮,去除痘痘和皮肤瑕疵后,Rinse Repeat就能根据用户已经完成的具体修改,自动把类似处理应用到合影中的其他人物身上。
这项功能也能用在商业营销图片上。比如用户为产品添加阴影效果,即使其他产品的形状和尺寸不同,系统也能自动适配相应的阴影。
Rinse Repeat基于Photoshop构建。应用到其他人物或物体上的编辑效果仍然完全可编辑,因为工具会调用Photoshop原生功能重新创建这些修改,而不是简单地把处理后的图像覆盖上去。
需要注意的是,这些名为“Sneaks”的项目目前都只是技术预览,未来有可能被开发成Adobe Creative Cloud应用或Firefly平台中的正式工具,但并不保证所有项目最终都会推出。
其实,这些项目基本都建立在Adobe的生成式AI技术之上。眼下AI工具已是Adobe增长战略的核心,那些实验性功能里,至少有一部分最终转正的可能性不小。
无论这些AI实验看起来多么新奇有趣,它们也释放出一个值得关注的信号:如果这些工具足够实用,未来AI就有可能取代创意专业人士目前使用的部分工具和素材库,而不管他们对这项技术抱有怎样复杂的态度。
这几个实验项目还有一处很明显的相似之处:它们都在想办法把照片编辑、视频制作、音频混音这类复杂流程的门槛降下来,让操作更直观,互动感也更强。
有些功能乍看像玩具,其实能帮用户在创意项目里完成实打实的修改。
Adobe 资深首席研究科学家高塔姆 · 迈索尔(Gautham Mysore)对 The Verge 表示,这些交互方式要做得更直观,同时也是为了让有经验的创作者拿到更精细的控制手段。他提到,Sound Bender 的声音探索功能、Sight Span 的摄像机视角调整功能,都说明专业人士能靠自己的判断,更直接地去调整并完善最终效果。迈索尔说,让创作意图和实际控制能力结合得更紧,是他们眼下在探索的一个重点方向。