淘宝商品图进化:阿里CommerceGen-Studio如何几秒生成一张海报
你刷淘宝的时候有没有想过一个问题:为什么同样一双鞋,有的商家挂的就是一张随手拍的白底照,有的却是构图精美、文案清晰、还带着品牌logo的海报级大图?这背后以前靠的是设计师,一张一张抠图、排版、写文案。现在阿里巴巴的一个团队想让AI来干这件事,而且是每天干几百万次,每次只要几秒钟。他们把这套系统叫做Commerc...
同样是一双鞋,有的商家在淘宝上挂的是随手拍的白底照,有的却是一张构图讲究、文案清楚、带品牌logo的海报级大图。你刷的时候有没有琢磨过,这差距是怎么来的?
过去这事全压在设计师身上,抠图、排版、写文案,一张一张来。如今阿里巴巴有一支团队打算交给AI去做,一天要跑几百万次,每次只花几秒钟。这套系统名为CommerceGen-Studio,论文讲的就是它怎么被造出来。
听着不难,说白了就是"把产品照P成海报"。可真往深里想,里头卡着好几个挺难缠的矛盾。
**头一道坎:信息打哪儿来**
一件商品的信息分散在五处:主图上的文字、SKU图上的文字、后台的结构化属性、标题,还有类目。
SKU*:Stock Keeping Unit的缩写,指电商里一个具体可购买的商品变体,比如同一款T恤的红色M码和蓝色L码就是两个不同的SKU。
这五处经常彼此打架。论文里举了个挺实在的例子:主图上标着"iPhone 17",可你选的这个具体SKU其实是iPhone 18的某个配置。AI要是傻乎乎把主图文字原样搬进海报,生成的就是一句彻头彻尾的错话。电商场景里这种错很致命,用户可能被误导着下了单。
好比去菜市场买菜,摊主招牌写着"本摊只卖有机蔬菜",你手里挑的这把却是隔壁摊借来凑数的普通菜。要是你光信招牌不看菜,回家发现不对,摊主的信誉也就砸了。AI得学会分辨哪些信息是"招牌"(可能过时、可能冲突),哪些是"手里的菜"(当下这个SKU的真实属性)。少了这层甄别,生成的海报就是在批量制造虚假宣传。
**思路:让AI给自己打分,自己改提示词**
团队为此搭了一个叫PERL-Agent的系统。
PERL-Agent*:Prompt-Eval-Refine-Loop Agent的缩写,一套让AI自动迭代优化提示词的闭环系统,由一个生成角色和三个评判/分析/修改角色组成。
它跑起来有点像一个小型的内部审稿流程。一个VLM(视觉语言模型)角色从商品信息里挑出卖点,写出一份"卖点清单";另一个角色当"判官",拿六个维度的打分表给这份清单挑刺;第三个角色找出扣分最狠的那个维度,归纳出失败模式;第四个角色照着归纳去微调提示词,让下一轮生成绕开这个坑。
VLM*:Vision-Language Model,视觉语言模型,能同时理解图片和文字的AI模型。
六个打分维度是:信息符不符合商品真实情况、表达顺不顺且专业、合不合品类特点、有没有踩敏感内容的红线、结构规不规整、能不能真正打动消费者。团队咬定一条:不看平均分,只盯最低的那一项。
论文里的逻辑是,一份卖点清单哪怕其余五项都满分,只要有一项严重失误,比如把宠物食品写成"添加膳食纤维"、而这其实是另一个商品的信息,那这份清单就是废品。好比一份考卷,语文数学英语都满分,体育不及格照样留级,学校不会因为总分高就放你过关。短板决定下限,这套系统索性直接冲着短板去优化。
坏案例的具体得分,论文里也列了出来。有个案例综合分仅2.7分(满分6分),问题出在把主图里"添加益生菌"这类促销信息误塞进了"草本去泪痕膏"的SKU卖点,属于信息来源混淆的严重错误。另一个案例拿了4.2分,原因是卖点只生成了两条,把"纯棉"这种核心的安全相关信息给漏了。好案例则能到5.8分,几乎每个维度都在0.9分以上。
**排版不能让AI"自由发挥"**
光有卖点清单还不够,接下来是排版。一堆文字信息直接扔给生成模型,让它自己定字放哪、图放哪、logo多大,结果往往每张图构图都不一样,很不稳定。
团队于是在卖点清单和最终图像生成之间,插了一层叫Layout Thinker的"排版军师"。
Layout Thinker*:一个专门负责把卖点文字转化为具体版式方案的VLM模型,决定主体位置、背景风格、文字层级、logo大小等一系列排版细节。
训练分两个阶段推进。第一阶段做监督微调,目的是让模型掌握"卖点清单该怎么变成一份可执行的排版说明"这个基本映射。第二阶段叫LTO(Layout Thinker Optimization),走的是强化学习,两路并行:一路对文字版式直接打分,看逻辑清不清楚、信息层次合不合理;另一路把生成的排版说明真交给图像生成模型渲染出图,再对图打分,看指令遵循得好不好、产品细节保没保住、logo有没有变形。
两路打分互不干扰。团队发现,把两种奖励信号混在一起同时优化,会出现梯度打架的问题,于是改成每次训练只随机选一路算梯度,另一路这次先搁着。
这思路其实很像公司里的KPI考核。给一个员工同时设"写得快"和"写得好"两个互相冲突的指标,还要求他每次汇报都同时对齐,人很容易纠结,哪个都做不好。可要是这周重点冲"快"、下周重点冲"好",交替着来,反而两个维度都能扎实提升。LTO的随机抽样机制,说到底就是躲开"既要又要"在训练时产生的拉扯。
**图像生成的核心:SKU-DiT,以及它的"三步走"训练**
排版说明解决之后,真正负责出图的模型登场,名字叫SKU-DiT。
先说DiT。它把Transformer架构和扩散生成模型拼在一起,是眼下高质量图像生成的主流技术路线,全称Diffusion Transformer。
SKU-DiT要同时接收三路输入:产品白底图、品牌logo裁切图,以及Layout Thinker产出的排版说明,三者一次性融成一张成品海报。这比普通文生图难不少——产品的颜色、纹理、数量、角度都得原样保住,logo不能走形,文字要一字不差。
这套训练流程被团队命名为RDR,分三个阶段推进:强化(Reinforce)、蒸馏(Distill)、再强化(Reinforce)。
RDR即Reinforce-Distill-Reinforce的缩写,是论文给出的渐进式训练策略,顺序上先做偏好对齐,再做推理加速蒸馏,最后在蒸馏之后做二次强化。
第一阶段的强化学习用了DiffusionNFT这个算法框架。团队先练出两个“专科医生”:一个专攻复杂排版,处理多元素协调的复杂构图;一个专攻主体保真,守住产品本身不被改样。训练用的奖励函数取三个维度的几何平均值——指令遵循、内容保真、美学质量,另加一个OCR惩罚项,专门抓非产品区域里打错的字。几何平均这个设计很关键:只要有一项特别拉胯,总分就会被大幅拖低,不会被其他高分项“平均”掩盖。
两个专科医生练成后,团队用DiffusionOPD方法把两边能力整合进一个学生模型:让学生自己走一遍扩散轨迹,再根据这条轨迹该归哪个专科,决定由谁来“教”它。这样设计是为了避免把两个老师的参数硬拌在一起、导致互相干扰。论文里提到,这种直接混合的多任务训练容易出现“跷跷板效应”,一个能力上去了另一个就掉下来。
第二阶段是蒸馏。目的是把原本需要很多步采样才能出图的模型,压缩成几步就能出图,单图延迟才能压到几秒钟级别。团队在DMD2基础上改了几处:训练数据里普通编辑数据和logo相关编辑数据按3比1配比混合;采样时故意提高在接近“干净图像”终点停下的概率,防止图像结构被破坏;还给logo细节加了判别器做对抗训练。原因是logo裁切图往往只有几十个像素大,细节极易丢失,所以干脆先放大再喂给模型。
这一步其实是速度和质量的拉锯。不做任何额外处理、直接把多步模型蒸馏成几步模型,字体笔画会变钝,logo边缘会变软,论文原文的说法是“高频细节”被磨掉了。好比把一张高清照片快速压成很小的文件:为了省空间和加载时间,图是能看的,但细看边缘发虚、文字发糊。
第三步是后蒸馏强化。蒸馏确实换来了速度,可团队讲得很坦白:代价并非均匀分摊,恰恰扎堆在最要紧的高频细节上。于是他们拿压缩后的几步学生模型再做一轮强化学习,训练数据专挑美学、构图、OCR精度门槛更高的那部分,让模型在真正会遇到的几步采样场景里,把丢掉的保真度和文字精度重新捡回来。
**为什么LoRA有时候不够用**
论文里有个细节值得单独说:在不同阶段,团队对“该不该用LoRA微调”做了非常不同的选择。
LoRA即Low-Rank Adaptation的缩写,只调整模型里一小部分参数(低秩矩阵)就能达到微调效果,比全参数微调省资源,但调整幅度有限。
把通用图像生成骨干模型迁移到电商垂直领域时,团队用的是全参数训练,不是LoRA。强化学习阶段的两个专科老师,训练时用了LoRA。而Layout Thinker的训练,无论监督微调还是强化学习阶段,都没用LoRA,而是全量微调上层Transformer模块,同时冻结底层模块。
团队给出的理由挺实在:排版并不只是换一种输出格式,那样的格式变化LoRA学得会。排版真正要求的是模型换一种“看图”的方式,得重新盯住产品轮廓、视觉重心、空闲空间在哪儿,才好判断元素该往哪放。这属于表征层面的转变。论文原话提到,在他们的实验里,低秩更新压根没给上层模块留出足够容量去学会这种行为。
这个区分站得住脚。可以拿LoRA比作给一名熟练工人发一本新的操作手册:手上的本事没变,只是换成另一套流程去干。可要是让这名工人彻底换一种“看问题的角度”,比方从“组装零件”变成“设计整条生产线怎么摆”,换手册就不管用了,得把他的整套判断体系重新培训一遍。所以强化学习阶段(相当于在已有技能上做偏好微调)能用LoRA这种轻量调整,而迁到新领域、或者培养排版思维这类结构性转变,团队选了更费资源也更彻底的全参数更新。
**跑分结果:小模型打赢了大模型吗**
团队还专门搭了个叫CommerceGen-Bench的测试集,收了400个真实线上的难案例,横跨3C数码、家居日用、美妆服饰、运动母婴等六大类目、十五个子类目,样本专挑容易出毛病的那类:主体是半透明或者很薄的结构,抠图容易把它弄坏;logo特别小,笔画容易看不清;卖点文字特别长,容易冒出错字。
评测用Gemini 3 Flash作为裁判模型,从五个维度打分:产品还原度(PF)、指令遵循(IF)、产品融合自然度(PI)、整体真实感(ND)、瑕疵检测(AD)。
在不使用提示词增强的情况下,CommerceGen-Studio在单图编辑和多图编辑两个赛道的综合得分分别是9.40和9.44,满分10分。开源模型里表现最好的Qwen-Image-2.1,得分是7.29和6.76,差距相当明显。闭源大模型这边,GPT-Image-2和GPT-Image-2.5的得分在9.6左右,和CommerceGen-Studio已经非常接近,有些维度上甚至被这套只有6B参数的模型反超。
有个数字不妨多看一眼:GPT-Image这类闭源模型背后的参数规模普遍远高于6B,可这套专为电商场景打磨的系统,凭借小得多的模型,在“指令遵循”和“产品融合”这两项决定一张图能否真正上线的关键指标上,反超了好几个体量大得多的通用模型。说到底,在垂直场景里,针对性的训练流程或许比单纯堆参数更管用。
论文里的消融实验也支持这个判断。起点是一个开源的排版基线模型加SKU-DiT基础模型,综合得分仅6.509分。叠加监督微调后升到7.832分,再叠加强化加蒸馏涨到8.296分,蒸馏成8步快速采样后略微回落到8.253分,经过蒸馏后的二次强化又补回8.271分,最后接入完整的LTO排版优化,分数直接跳到9.440分——这是整条链路里涨幅最大的一环。
Model 单图PF 单图IF 单图Overall 多图PF 多图IF 多图Overall
Qwen-Image-2.1 8.32 6.35 7.29 7.65 5.48 6.76
FLUX.2 klein 9B 8.60 2.02 5.56 7.99 2.38 5.52
GPT-Image-2 9.36 9.79 **9.61** 9.39 9.72 **9.68**
Seedream 5.0 Pro 9.44 9.47 9.57 9.41 9.49 9.60
**Ours (6B)** 9.22 9.54 **9.40** 9.27 9.29 **9.44**
几个主流开源模型在实测中暴露的问题都挺具体:FLUX.2的4B和9B版本时常搞不定中文卖点文字,FireRed容易丢logo,或者在融合多张产品参考图时出错,Qwen-Image-Edit偶尔出现产品身份漂移,生成出来的产品和原图对不太上。这些毛病,恰好对应CommerceGen-Studio想死磕的那几个痛点。
**写在后面**
读完论文,有个点让人印象很深:整套系统没有哪一处是靠单点的大力出奇迹,而是把一个看似简单的“P图”任务拆成信息提取、排版决策、图像渲染三个独立又咬合的环节,每个环节都配了专门的训练手段。分而治之的思路在学术圈不算新鲜,可把它真正落到每天处理几百万张图、延迟只有几秒钟的生产系统里,本身就不容易。
另一个反复让人琢磨的细节是,团队在论文里很坦诚地摆出了两个尚未解决的问题:眼下的奖励信号都是人为设计的打分规则,并没有真正接入用户的点击、停留这类行为数据,换句话说,模型学到的审美偏好,本质上仍是研究者能讲清楚、能写成规则的那部分审美,那些说不清道不明、但用户确实会被打动的东西,目前还够不着。另外,系统现在对每个SKU只生成一种“标准答案”式海报,还做不到针对不同受众给出风格迥异的版本。这事其实挺有意思:同一双鞋,给年轻人看和给中年人看,审美逻辑本来就该不一样。
一张图从白底照变成海报,背后藏着好几层博弈:信息真假的博弈、速度与质量的博弈、不同奖励信号之间的博弈。下回你在淘宝划过某张制作精良的商品图,或许可以想一想,这几秒钟里,可能有一整套闭环系统刚替你跑完了信息甄别、排版设计、图像渲染的全流程。
Q&A
Q1:CommerceGen-Studio是什么?
阿里巴巴团队做的 CommerceGen-Studio,是一套端到端跑通商品主图生成的系统:白底产品照连同商品信息丢进去,就能自动出带文案、带 logo 的商业级海报图。这套系统一天要处理上百万张,单张图几秒钟就能生成。
Q2:PERL-Agent解决了什么问题?
A:PERL-Agent针对的是商品卖点信息来源混乱的问题。它靠生成、评判、分析、修改四个角色组成闭环,自动从标题、OCR结果、属性、类目等多个来源中提炼准确可靠的卖点文案,免得出现信息错误或过时。
Q3:CommerceGen-Studio的效果和GPT-Image等大模型相比怎么样?
A:在CommerceGen-Bench测试集上,这套仅6B参数的系统综合得分达到9.40到9.44分,接近GPT-Image-2.5等闭源大模型的9.6分左右,并且在指令遵循、产品融合这两个关键指标上超过了部分闭源大模型。