淘宝商品图进化:阿里CommerceGen-Studio如何几秒生成一张海报

资讯 腾讯网 作者:科技行者 全文 6338 字 · 约 16 分钟读完 分类阿里

你刷淘宝的时候有没有想过一个问题:为什么同样一双鞋,有的商家挂的就是一张随手拍的白底照,有的却是构图精美、文案清晰、还带着品牌logo的海报级大图?这背后以前靠的是设计师,一张一张抠图、排版、写文案。现在阿里巴巴的一个团队想让AI来干这件事,而且是每天干几百万次,每次只要几秒钟。他们把这套系统叫做Commerc...

所属频道 大厂动态

同样是一双鞋,有的商家在淘宝上挂的是随手拍的白底照,有的却是一张构图讲究、文案清楚、带品牌logo的海报级大图。你刷的时候有没有琢磨过,这差距是怎么来的?

过去这事全压在设计师身上,抠图、排版、写文案,一张一张来。如今阿里巴巴有一支团队打算交给AI去做,一天要跑几百万次,每次只花几秒钟。这套系统名为CommerceGen-Studio,论文讲的就是它怎么被造出来。

听着不难,说白了就是"把产品照P成海报"。可真往深里想,里头卡着好几个挺难缠的矛盾。

**头一道坎:信息打哪儿来**

一件商品的信息分散在五处:主图上的文字、SKU图上的文字、后台的结构化属性、标题,还有类目。

SKU*:Stock Keeping Unit的缩写,指电商里一个具体可购买的商品变体,比如同一款T恤的红色M码和蓝色L码就是两个不同的SKU。

这五处经常彼此打架。论文里举了个挺实在的例子:主图上标着"iPhone 17",可你选的这个具体SKU其实是iPhone 18的某个配置。AI要是傻乎乎把主图文字原样搬进海报,生成的就是一句彻头彻尾的错话。电商场景里这种错很致命,用户可能被误导着下了单。

好比去菜市场买菜,摊主招牌写着"本摊只卖有机蔬菜",你手里挑的这把却是隔壁摊借来凑数的普通菜。要是你光信招牌不看菜,回家发现不对,摊主的信誉也就砸了。AI得学会分辨哪些信息是"招牌"(可能过时、可能冲突),哪些是"手里的菜"(当下这个SKU的真实属性)。少了这层甄别,生成的海报就是在批量制造虚假宣传。

**思路:让AI给自己打分,自己改提示词**

团队为此搭了一个叫PERL-Agent的系统。

PERL-Agent*:Prompt-Eval-Refine-Loop Agent的缩写,一套让AI自动迭代优化提示词的闭环系统,由一个生成角色和三个评判/分析/修改角色组成。

它跑起来有点像一个小型的内部审稿流程。一个VLM(视觉语言模型)角色从商品信息里挑出卖点,写出一份"卖点清单";另一个角色当"判官",拿六个维度的打分表给这份清单挑刺;第三个角色找出扣分最狠的那个维度,归纳出失败模式;第四个角色照着归纳去微调提示词,让下一轮生成绕开这个坑。

VLM*:Vision-Language Model,视觉语言模型,能同时理解图片和文字的AI模型。

六个打分维度是:信息符不符合商品真实情况、表达顺不顺且专业、合不合品类特点、有没有踩敏感内容的红线、结构规不规整、能不能真正打动消费者。团队咬定一条:不看平均分,只盯最低的那一项。

论文里的逻辑是,一份卖点清单哪怕其余五项都满分,只要有一项严重失误,比如把宠物食品写成"添加膳食纤维"、而这其实是另一个商品的信息,那这份清单就是废品。好比一份考卷,语文数学英语都满分,体育不及格照样留级,学校不会因为总分高就放你过关。短板决定下限,这套系统索性直接冲着短板去优化。

坏案例的具体得分,论文里也列了出来。有个案例综合分仅2.7分(满分6分),问题出在把主图里"添加益生菌"这类促销信息误塞进了"草本去泪痕膏"的SKU卖点,属于信息来源混淆的严重错误。另一个案例拿了4.2分,原因是卖点只生成了两条,把"纯棉"这种核心的安全相关信息给漏了。好案例则能到5.8分,几乎每个维度都在0.9分以上。

**排版不能让AI"自由发挥"**

光有卖点清单还不够,接下来是排版。一堆文字信息直接扔给生成模型,让它自己定字放哪、图放哪、logo多大,结果往往每张图构图都不一样,很不稳定。

团队于是在卖点清单和最终图像生成之间,插了一层叫Layout Thinker的"排版军师"。

Layout Thinker*:一个专门负责把卖点文字转化为具体版式方案的VLM模型,决定主体位置、背景风格、文字层级、logo大小等一系列排版细节。

训练分两个阶段推进。第一阶段做监督微调,目的是让模型掌握"卖点清单该怎么变成一份可执行的排版说明"这个基本映射。第二阶段叫LTO(Layout Thinker Optimization),走的是强化学习,两路并行:一路对文字版式直接打分,看逻辑清不清楚、信息层次合不合理;另一路把生成的排版说明真交给图像生成模型渲染出图,再对图打分,看指令遵循得好不好、产品细节保没保住、logo有没有变形。

两路打分互不干扰。团队发现,把两种奖励信号混在一起同时优化,会出现梯度打架的问题,于是改成每次训练只随机选一路算梯度,另一路这次先搁着。

这思路其实很像公司里的KPI考核。给一个员工同时设"写得快"和"写得好"两个互相冲突的指标,还要求他每次汇报都同时对齐,人很容易纠结,哪个都做不好。可要是这周重点冲"快"、下周重点冲"好",交替着来,反而两个维度都能扎实提升。LTO的随机抽样机制,说到底就是躲开"既要又要"在训练时产生的拉扯。

**图像生成的核心:SKU-DiT,以及它的"三步走"训练**

排版说明解决之后,真正负责出图的模型登场,名字叫SKU-DiT。

先说DiT。它把Transformer架构和扩散生成模型拼在一起,是眼下高质量图像生成的主流技术路线,全称Diffusion Transformer。

SKU-DiT要同时接收三路输入:产品白底图、品牌logo裁切图,以及Layout Thinker产出的排版说明,三者一次性融成一张成品海报。这比普通文生图难不少——产品的颜色、纹理、数量、角度都得原样保住,logo不能走形,文字要一字不差。

这套训练流程被团队命名为RDR,分三个阶段推进:强化(Reinforce)、蒸馏(Distill)、再强化(Reinforce)。

RDR即Reinforce-Distill-Reinforce的缩写,是论文给出的渐进式训练策略,顺序上先做偏好对齐,再做推理加速蒸馏,最后在蒸馏之后做二次强化。

第一阶段的强化学习用了DiffusionNFT这个算法框架。团队先练出两个“专科医生”:一个专攻复杂排版,处理多元素协调的复杂构图;一个专攻主体保真,守住产品本身不被改样。训练用的奖励函数取三个维度的几何平均值——指令遵循、内容保真、美学质量,另加一个OCR惩罚项,专门抓非产品区域里打错的字。几何平均这个设计很关键:只要有一项特别拉胯,总分就会被大幅拖低,不会被其他高分项“平均”掩盖。

两个专科医生练成后,团队用DiffusionOPD方法把两边能力整合进一个学生模型:让学生自己走一遍扩散轨迹,再根据这条轨迹该归哪个专科,决定由谁来“教”它。这样设计是为了避免把两个老师的参数硬拌在一起、导致互相干扰。论文里提到,这种直接混合的多任务训练容易出现“跷跷板效应”,一个能力上去了另一个就掉下来。

第二阶段是蒸馏。目的是把原本需要很多步采样才能出图的模型,压缩成几步就能出图,单图延迟才能压到几秒钟级别。团队在DMD2基础上改了几处:训练数据里普通编辑数据和logo相关编辑数据按3比1配比混合;采样时故意提高在接近“干净图像”终点停下的概率,防止图像结构被破坏;还给logo细节加了判别器做对抗训练。原因是logo裁切图往往只有几十个像素大,细节极易丢失,所以干脆先放大再喂给模型。

这一步其实是速度和质量的拉锯。不做任何额外处理、直接把多步模型蒸馏成几步模型,字体笔画会变钝,logo边缘会变软,论文原文的说法是“高频细节”被磨掉了。好比把一张高清照片快速压成很小的文件:为了省空间和加载时间,图是能看的,但细看边缘发虚、文字发糊。

第三步是后蒸馏强化。蒸馏确实换来了速度,可团队讲得很坦白:代价并非均匀分摊,恰恰扎堆在最要紧的高频细节上。于是他们拿压缩后的几步学生模型再做一轮强化学习,训练数据专挑美学、构图、OCR精度门槛更高的那部分,让模型在真正会遇到的几步采样场景里,把丢掉的保真度和文字精度重新捡回来。

**为什么LoRA有时候不够用**

论文里有个细节值得单独说:在不同阶段,团队对“该不该用LoRA微调”做了非常不同的选择。

LoRA即Low-Rank Adaptation的缩写,只调整模型里一小部分参数(低秩矩阵)就能达到微调效果,比全参数微调省资源,但调整幅度有限。

把通用图像生成骨干模型迁移到电商垂直领域时,团队用的是全参数训练,不是LoRA。强化学习阶段的两个专科老师,训练时用了LoRA。而Layout Thinker的训练,无论监督微调还是强化学习阶段,都没用LoRA,而是全量微调上层Transformer模块,同时冻结底层模块。

团队给出的理由挺实在:排版并不只是换一种输出格式,那样的格式变化LoRA学得会。排版真正要求的是模型换一种“看图”的方式,得重新盯住产品轮廓、视觉重心、空闲空间在哪儿,才好判断元素该往哪放。这属于表征层面的转变。论文原话提到,在他们的实验里,低秩更新压根没给上层模块留出足够容量去学会这种行为。

这个区分站得住脚。可以拿LoRA比作给一名熟练工人发一本新的操作手册:手上的本事没变,只是换成另一套流程去干。可要是让这名工人彻底换一种“看问题的角度”,比方从“组装零件”变成“设计整条生产线怎么摆”,换手册就不管用了,得把他的整套判断体系重新培训一遍。所以强化学习阶段(相当于在已有技能上做偏好微调)能用LoRA这种轻量调整,而迁到新领域、或者培养排版思维这类结构性转变,团队选了更费资源也更彻底的全参数更新。

**跑分结果:小模型打赢了大模型吗**

团队还专门搭了个叫CommerceGen-Bench的测试集,收了400个真实线上的难案例,横跨3C数码、家居日用、美妆服饰、运动母婴等六大类目、十五个子类目,样本专挑容易出毛病的那类:主体是半透明或者很薄的结构,抠图容易把它弄坏;logo特别小,笔画容易看不清;卖点文字特别长,容易冒出错字。

评测用Gemini 3 Flash作为裁判模型,从五个维度打分:产品还原度(PF)、指令遵循(IF)、产品融合自然度(PI)、整体真实感(ND)、瑕疵检测(AD)。

在不使用提示词增强的情况下,CommerceGen-Studio在单图编辑和多图编辑两个赛道的综合得分分别是9.40和9.44,满分10分。开源模型里表现最好的Qwen-Image-2.1,得分是7.29和6.76,差距相当明显。闭源大模型这边,GPT-Image-2和GPT-Image-2.5的得分在9.6左右,和CommerceGen-Studio已经非常接近,有些维度上甚至被这套只有6B参数的模型反超。

有个数字不妨多看一眼:GPT-Image这类闭源模型背后的参数规模普遍远高于6B,可这套专为电商场景打磨的系统,凭借小得多的模型,在“指令遵循”和“产品融合”这两项决定一张图能否真正上线的关键指标上,反超了好几个体量大得多的通用模型。说到底,在垂直场景里,针对性的训练流程或许比单纯堆参数更管用。

论文里的消融实验也支持这个判断。起点是一个开源的排版基线模型加SKU-DiT基础模型,综合得分仅6.509分。叠加监督微调后升到7.832分,再叠加强化加蒸馏涨到8.296分,蒸馏成8步快速采样后略微回落到8.253分,经过蒸馏后的二次强化又补回8.271分,最后接入完整的LTO排版优化,分数直接跳到9.440分——这是整条链路里涨幅最大的一环。

Model 单图PF 单图IF 单图Overall 多图PF 多图IF 多图Overall

Qwen-Image-2.1 8.32 6.35 7.29 7.65 5.48 6.76

FLUX.2 klein 9B 8.60 2.02 5.56 7.99 2.38 5.52

GPT-Image-2 9.36 9.79 **9.61** 9.39 9.72 **9.68**

Seedream 5.0 Pro 9.44 9.47 9.57 9.41 9.49 9.60

**Ours (6B)** 9.22 9.54 **9.40** 9.27 9.29 **9.44**

几个主流开源模型在实测中暴露的问题都挺具体:FLUX.2的4B和9B版本时常搞不定中文卖点文字,FireRed容易丢logo,或者在融合多张产品参考图时出错,Qwen-Image-Edit偶尔出现产品身份漂移,生成出来的产品和原图对不太上。这些毛病,恰好对应CommerceGen-Studio想死磕的那几个痛点。

**写在后面**

读完论文,有个点让人印象很深:整套系统没有哪一处是靠单点的大力出奇迹,而是把一个看似简单的“P图”任务拆成信息提取、排版决策、图像渲染三个独立又咬合的环节,每个环节都配了专门的训练手段。分而治之的思路在学术圈不算新鲜,可把它真正落到每天处理几百万张图、延迟只有几秒钟的生产系统里,本身就不容易。

另一个反复让人琢磨的细节是,团队在论文里很坦诚地摆出了两个尚未解决的问题:眼下的奖励信号都是人为设计的打分规则,并没有真正接入用户的点击、停留这类行为数据,换句话说,模型学到的审美偏好,本质上仍是研究者能讲清楚、能写成规则的那部分审美,那些说不清道不明、但用户确实会被打动的东西,目前还够不着。另外,系统现在对每个SKU只生成一种“标准答案”式海报,还做不到针对不同受众给出风格迥异的版本。这事其实挺有意思:同一双鞋,给年轻人看和给中年人看,审美逻辑本来就该不一样。

一张图从白底照变成海报,背后藏着好几层博弈:信息真假的博弈、速度与质量的博弈、不同奖励信号之间的博弈。下回你在淘宝划过某张制作精良的商品图,或许可以想一想,这几秒钟里,可能有一整套闭环系统刚替你跑完了信息甄别、排版设计、图像渲染的全流程。

Q&A

Q1:CommerceGen-Studio是什么?

阿里巴巴团队做的 CommerceGen-Studio,是一套端到端跑通商品主图生成的系统:白底产品照连同商品信息丢进去,就能自动出带文案、带 logo 的商业级海报图。这套系统一天要处理上百万张,单张图几秒钟就能生成。

Q2:PERL-Agent解决了什么问题?

A:PERL-Agent针对的是商品卖点信息来源混乱的问题。它靠生成、评判、分析、修改四个角色组成闭环,自动从标题、OCR结果、属性、类目等多个来源中提炼准确可靠的卖点文案,免得出现信息错误或过时。

Q3:CommerceGen-Studio的效果和GPT-Image等大模型相比怎么样?

A:在CommerceGen-Bench测试集上,这套仅6B参数的系统综合得分达到9.40到9.44分,接近GPT-Image-2.5等闭源大模型的9.6分左右,并且在指令遵循、产品融合这两个关键指标上超过了部分闭源大模型。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 阿里巴巴 CEO 吴泳铭:2027、2028 年将是中国算力最紧缺的两年

    IT之家 11 月 19 日消息,据界面新闻今日报道,在 2027 财年第二季度财报分析师电话会上,阿里巴巴集团 CEO 吴泳铭表示,2027 年和 2028 年,将是中国算力最紧缺的两年。2027 年以后,阿里云的芯片供给都会以国产平头哥芯片为主,同时也会采购其他国产芯片来支持内部的推理需求。吴泳铭提到,阿里的旗舰芯

    来源 腾讯网
  2. 吴泳铭:2027年后阿里绝大部分新增AI芯片将由平头哥和国产芯片供应

    本文来源:时代财经 11月19日,在阿里巴巴2027财年第二季度财报分析师电话会上,集团CEO吴泳铭表示,2027年之后,阿里绝大部分新增的AI芯片供给以平头哥的芯片为主,同时会从其他国内供应商采购部分芯片用于支持推理类工作任务。吴泳铭称,2027年一季度,新一代平头哥的国产芯片完全可以支持超大规模模型的训练。“随着平

    来源 腾讯网
  3. 吴泳铭:阿里“2032 年全球数据中心规模超 20GW”目标或下调

    IT之家 11 月 19 日消息,据蓝鲸新闻报道,在阿里巴巴今天(19 日)召开的 2027 财年第二季度业绩电话会上,阿里巴巴集团 CEO 吴泳铭表示,全球各个区域的算力政策出现了非常大的变化,将对阿里云的数据中心建设产生影响。 吴泳铭透露,根据目前的初步评估,阿里此前制定的到 2032 年全球数据中心规模超过 20

    来源 AI 行业观察
  4. 阿里巴巴 CEO 吴泳铭:千问已在平头哥芯片训练下一代模型,百炼基于国产芯片提供模型推理服务

    IT之家 11 月 19 日消息,据财联社今日报道,在 2027 财年第二季度财报分析师电话会上,阿里巴巴集团 CEO 吴泳铭表示,千问已经在平头哥芯片上训练下一代模型,百炼已经基于国产芯片提供模型推理服务。 吴泳铭强调,阿里的全栈 AI 基础设施将在国产算力供应链上形成明显优势,而自研芯片与自研模型的深度协同,将持续

    来源 AI 行业观察
  5. 阿里CEO吴泳铭:正使用自研芯片训练下一款新模型

    阿里巴巴集团CEO吴泳铭在2027财年第二季度财报分析师电话会上表示,平头哥三代GPU路线图正加速推进,今年真武M890全面上线,2027年V900、2028年J900推进量产。他同时透露,千问已在平头哥芯片上训练下一代模型,百炼已基于国产芯片提供模型推理服务。

    来源 凤凰科技
  6. 32GB内存跑180B模型:用Transformers实现MoE专家流式加载

    在只有32GB统一内存的Mac上运行1800亿参数的Qwen模型听起来像天方夜谭,但通过优化Transformers库的专家卸载机制,我们实现了接近专用引擎Strata的性能。本文详细拆解了如何利用SSD流式加载稀疏专家、构建有界缓存以及编写Metal内核,将推理速度提升至14 tokens/s,仅比最优方案慢6%。这

    来源 AI 应用前沿
  7. 内部矛盾激化!英伟达工程师放话:黄仁勋不复职就集体辞职

    【TechWeb】黄仁勋辞职一周后,英伟达内部的“人心危机”正持续发酵。临时CEO科莱特·克雷斯面临的,是一场几乎公开化的员工不满——要求创始人回归的"Stand with Jensen"请愿已收集近20万签名,其中自称英伟达在职员工的签名超过1万人,而公司员工总数约4.2万人;部分工程师已明确放话,若黄仁勋不能复职将

    来源 AI 行业观察
  8. AnthropicIPO定价83美元:估值1.5万亿,80余人联名质疑安全性

    就在定价公布同一天,一份名为《MisAnthropic Statement》的公开声明在misanthropicstatement.com上线,由AI安全中心推动、80余名跨阵营人士联署,开篇即给出结论:“Anthropic is not a safe AI company”——史上最大IPO与史上罕见的跨阵营围剿,在

    来源 TechWeb
  9. Uber建MCP Gateway:800个服务器、5000个工具如何统一调度

    作者 | Leela Kumili译者 | 田橙随着 AI 智能体在公司内部得到广泛采用,Uber 构建了一套 MCP Gateway,用于规范智能体发现和调用内部服务的方式,以解决集成碎片化、基础设施重复建设和安全实践不一致等问题。该平台支持 800 多个 MCP 服务器和 5000 多个工具,为服务发现、协议转换、

    来源 腾讯网
  10. 英伟达临时CEO克雷斯回应换帅疑虑:AI芯片业务照常,产品节奏不变

    【TechWeb】11月19日,行业媒体Digitimes发布报道,聚焦黄仁勋辞任后英伟达首次财报电话会议。针对外界“换帅是否会打乱AI芯片供货”的疑虑,临时CEO科莱特·克雷斯(Colette Kress)明确回应:公司业务照常开展。 克雷斯在会上强调,英伟达未来产品的开发与推出节奏保持不变,公司的运营表现、业务展望

    来源 AI 行业观察
  11. 国产芯片三级跳:近10万颗出货后,存储与AI芯片各闯一关

    (本文作者为 冯伟冯大白,钛媒体经授权发布)文 | 冯伟冯大白今年前三季度,国内半导体产业获得的投资已经超过去年全年。投中嘉川CVSource统计的金额是3311亿元,投资事件1475起。进入11月,计算芯片企业的新融资仍在披露。资本愿意等待的产品,已经有了不同的模样。有的芯片卖进了客户机房,新资金用来准备下一代;有的

    来源 腾讯网
  12. 谷歌Gemini 4 Neon发布:100万Token上下文,每百万输出15美元

    智东西(公众号:zhidxcom)编译 | 杨京丽编辑 | 李水青智东西11月19日消息,刚刚,谷歌发布Gemini 4系列新模型Gemini 4 Neon,面向复杂软件工程、知识工作和科学研究,主打在前沿智能水平下,更快、更经济地完成多步骤任务。这是谷歌7周内发布的第四款Gemini 4系列模型。▲谷歌发布Gemin

    来源 腾讯网
  13. OpenAI硬件2026年底出货:立讯精密独家代工整机与核心件

    OpenAI的首款AI硬件产品有了明确的时间表。11月19日,每日经济新闻援引供应链消息称,这款产品计划于2026年底启动出货,多家中国厂商深度参与其中——立讯精密不仅独家承担整机制造,还同时供应核心零部件。不过,关于这款硬件的具体形态,OpenAI官方至今仍未正式公布,“甜甜圈”“冰球”式的无屏设备轮廓,目前仍停留在

    来源 TechWeb
  14. Anthropic上市在即:创始团队多出自物理,AI大佬为何扎堆物理背景

    当年觉得自己“晚出生了一百年”,没赶上物理发现大爆发年代,当下在AI里找到了黄金时代。 史上最大IPO背后,站着一群“转行”物理学家。 美东时间11月19日,Anthropic将以代码“ANT”在纳斯达克挂牌。除公开发行外,公司还将同步进行私募配售,两部分合计募资规模最高约904亿美元;按发行价区间上限计算,完全稀释后

    来源 AI 行业观察
向下滚动自动加载更多