四个红色手提包,整齐摆放在白色展台上:一张图读懂AI写提示词时的“记忆碎片化”难题

资讯 腾讯网 作者:科技行者 全文 4423 字 · 约 12 分钟读完 分类游戏

你有没有玩过那种小时候传话游戏,一句话从第一个人传到最后一个人,中间经过七八个人的嘴,最后出来的版本已经面目全非了。现在想象一个更离谱的版本:这句话要传给一个AI画图模型,而传话的人不是按句子传的,是按字一个一个传的。"四""个""红""色""手提包"被拆成了五段信息,每一段单独往下传。传到最后,"四个"这个数量信..

所属频道 影视与游戏

你有没有玩过那种小时候传话游戏,一句话从第一个人传到最后一个人,中间经过七八个人的嘴,最后出来的版本已经面目全非了。

现在想象一个更离谱的版本:这句话要传给一个AI画图模型,而传话的人不是按句子传的,是按字一个一个传的。"四""个""红""色""手提包"被拆成了五段信息,每一段单独往下传。传到最后,"四个"这个数量信息可能早就在半路上走丢了。

这其实就是当下AI生成图片系统里正在发生的事。

当我们要求AI画一张"四个红色手提包摆在白色展台上"的图片时,背后通常有两个模型在配合:一个负责把你的简单描述改写得更详细更准确(我们叫它"提示词改写器"),另一个负责根据改写后的描述生成真正的图像(我们叫它"

当AI学"改写提示词"时,到底卡在哪

先说说这套系统是怎么运作的。

提示词改写器*:一个语言模型(比如论文里用的

这套流程本身没问题,问题出在"怎么训练改写器"上。目前最主流的训练方法叫

GRPO

这套机制的核心问题在于:打分系统只能给整句话打一个总分。比如"四个红色手提包摆在白色展台上"生成的图片,

但问题是,这句话里真正出错的地方可能只是"四个"这两个字没传达到位,"红色"反而是对的。可打分系统没法区分,它只能给整句一个分数,然后这个分数被平均摊派到每一个字上。

这就好比一个老师批改作文,学生写了五段话,其中第三段跑题了,但老师只给了一个总评分"不及格",然后这个"不及格"被平摊到每一段每一句上,连写得好的第一段和第二段也跟着被扣分。长期这样训练下去,学生根本搞不清楚自己哪里写错了,只会越改越乱。如果不解决这个问题,模型在学习过程中会把本该连贯的语义单元硬生生拆散,比如"四个"和"红色"这两个紧密相关的词,可能因为字面上离得不远,但在信息传递上却被当成了互不相干的两个独立信号。

研究团队把这个现象叫做"

SCOPE

研究团队提出的方法叫

具体怎么做的?论文里设计了一个很巧妙的流程。

模型在生成改写后的提示词时,不仅要写出文字内容,还要同步标出语义边界,用竖线"丨"把句子分成几个意群。比如"四个红色手提包丨整齐摆放丨在白色展台上",这三段分别对应"物体数量颜色属性""布局动作""场景描述"三类信息。这个分段过程不需要额外训练一个专门的切分模型,就是改写器自己顺手完成的,这一点很重要,因为如果要单独训练一个语义切分器,那又是一笔额外的计算开销,而且还要处理两个模型之间配合不一致的问题。

SCOPE的做法是,利用模型自身"更新前后对同一段文字的判断变化程度",来衡量这段话在这次训练里"贡献有多大"。

说得更具体一点:模型在更新参数前后,对同一句话里每个字的"自信程度"(技术上叫对数概率)会发生变化。如果某个语义段落里所有字的"自信程度"变化都比较一致且幅度较大,说明模型在这次迭代中对这部分内容做了明显调整,那么这部分应该在最终的损失计算里获得更大的权重;反之如果变化很小,权重就相应降低。

这个过程有点像老师批改作文的时候,不再是笼统打一个总分,而是先把作文按段落分开,然后观察每一段"这次改动有多大",改动大的段落说明学生在这方面确实下了功夫去调整,就应该在下一轮反馈里给这段更多关注和权重。这不是重新打分,而是把原本笼统的那个总分,按照"努力程度"重新分配到各个段落上。

这里有个关键的设计巧思值得展开说说:SCOPE并没有给每个语义段落单独算一个新的分数,也没有为此多渲染一张图片去单独评估某一段文字的效果。它用的仍然是整句话生成图片后得到的那一个总分,只是在"这个总分该怎么分配给每个字"这件事上做了精细化处理。

为什么要这样设计,而不是干脆给每个语义段落单独打分?答案其实藏在成本账里。如果要给"四个红色手提包""整齐摆放""白色展台上"这三段话分别打分,就得单独渲染三张(甚至更多)不同组合的图片,去逐一评估每一段改写的效果,这个计算开销会随着句子被切分的段数线性增长,训练一次模型可能要多付出好几倍的渲染成本。这就好比请厨师做一道菜,你不可能把每种配料单独炒一遍来判断好不好吃,你只能尝完整道菜的味道,然后凭经验推测可能是哪个配料出了问题。SCOPE选择的正是这种"整道菜只尝一次,但用更聪明的方式去反推哪个配料该背锅"的路线,用模型自身的判断变化作为推断依据,而不是真的去逐一单独验证。

技术细节上,这个权重的计算还加了一个"安全阀":每个语义段落算出来的调整系数会被限制在0.8到1.2倍之间,防止某一段权重被无限放大或压缩导致训练不稳定。同时,所有段落的权重经过归一化处理,保证整句话的平均权重还是1,这样原本那个"整体打分"的意义不会被打乱,只是内部的分配更精细了。

三个画图模型上全面测试,数据说话

研究团队在三个主流的文生图模型上做了实验:

结果上,SCOPE在

在

最惊人的改善出现在"数数"和"空间位置"这两类历来是AI画图模型的老大难问题上。SD3上,计数准确率从0.58跃升到0.79,提升了36.2%;位置准确率从0.57跃升到0.83,提升了45.6%。FLUX.1-dev上,原始模型(没有经过任何提示词优化)的位置准确率只有可怜的0.16,经过GRPO训练提升到0.62,而SCOPE直接拉到0.84,相当于比原始基座模型提升了超过5倍。

这组数字背后其实有个更值得琢磨的现象:在

拆开来看,到底哪个部分在起作用

论文还做了一组对照实验,专门检验SCOPE的两个核心设计到底哪个在真正发挥作用:是"按语义分段"这件事本身重要,还是"分段后动态调整权重"这件事更重要。

实验组对比了四种方案:标准GRPO(完全不分段,统一权重)、"逐token局部调整"(每个字单独计算权重变化,不做分段池化)、SCOPE(按语义分段并池化计算)。结果显示,逐token局部调整这种做法,效果居然比标准GRPO还要差,在三个模型上的得分都更低。

这个结果其实挺反直觉的。按理说更精细的调整应该效果更好才对,但实际情况正好相反。研究者的解释是,如果不做分段池化,直接在每个字的层面去计算权重调整,这种信号波动太剧烈,噪声太大,反而会把原本连贯的多字词组给打散,破坏了语义的完整性。这就像拍照对焦,如果焦点调得太细太频繁,镜头反而会一直来回晃动,最后拍出来的照片比大致对一次焦还要模糊。分段池化相当于告诉相机"不用逐帧对焦,按场景的大致区域对一次就够了",反而拍得更稳。

另一组对比实验检验的是"分段边界是不是必须按语义来划分"。研究者尝试了用随机边界切分句子,以及用固定3个token一组的窗口去切分,结果这两种"瞎切"的方式,在Qwen-Image上的得分只有0.86和0.87,相比SCOPE的0.95低了8到9个百分点。这说明真正起作用的不是"把句子分成几段"这个动作本身,而是"分段的边界必须和语言本身的意义边界重合"。如果边界切得不对,把"四个"和"红色"硬生生切到两个不同的段落里,那反而会把本该视为一个整体的语义信息强行撕裂,起到的是反作用。

文字描述之外,图片里真正发生了什么

论文里有一组对比实验图特别值得细说。研究者挑选了几个"反常识"的提示词,专门用来检验改写器到底有没有真正学会精确控制。比如"一张白色橙子的照片"(橙子天然就是橙色的,这个提示词本身就违背常识)、"一张沙发在杯子下方的照片"(正常应该是杯子在沙发上才对)。

用原始提示词直接生成,Qwen-Image画出的是杯子在沙发下面,四个手提包画成了五个,白色橙子直接被画成了普通橙色的橙子,完全没理解这种反常识指令。经过标准GRPO训练后的改写器依然没能解决这些问题,手提包数量还是画错了,空间关系也没理清楚。

而经过SCOPE训练的改写器,会把每条约束都写得非常具体明确:涉及空间关系的会直接写出"沙发在下方,杯子在上方",涉及数量的会写"四个手提包排成一排,每个都单独放在一个白色展台上",涉及反常识属性的会直接强调"白色橙子"。更有意思的是,在"白色橙子"这个测试里,SCOPE是唯一一个真正画出了白色橙子的模型,连商业化的

这组对比揭示了一个很朴素的道理:当训练信号能够精确对应到语义单元时,模型学会的不是笼统地"多写细节",而是学会了把每一条约束当作一个完整的单元去保留和强化,不会在优化探索的过程中把这些关键约束不小心打散成零碎的字词。

写在后面

读这篇论文的时候,我一直在想一个问题:为什么这么"显而易见"的问题,直到现在才有人系统性地解决。语义单元和tokenizer切分不对齐,这事儿其实在自然语言处理领域早就不是新鲜话题了,但把它和强化学习里的信用分配问题联系起来,用在文生图提示词优化这个具体场景里,确实是个挺巧妙的切入点。

最让我意外的其实是那组"逐token调整反而比不分段更差"的实验结果。这推翻了我下意识的假设,就是"信号越精细就应该越有效"。实际上在很多系统里,过度精细的反馈反而会引入更多噪声,粗粒度但结构对齐的反馈,效果反而更稳健。这个道理放在别的领域也说得通,比如团队管理里,如果考核粒度细到每一个动作都单独打分,反而可能让人无所适从,不知道该往哪个方向优化;但如果按"阶段性目标"这种更自然的单元去考核,反而更容易让人抓住重点。

另外一点触动我的是,SCOPE完全没有引入额外的渲染成本或者单独的评分模型,它用的巧思是"借用模型自己训练前后的判断变化"作为代理信号。这种"不增加外部资源,靠重新组织已有信号"的思路,其实是很多工程问题里最值得珍惜的解法,因为它意味着这个方法可以很轻量地叠加到现有系统上,而不需要推倒重来。

这篇论文没有解决的问题其实也挺明显:如果提示词本身的语义边界切分出了错(论文里提到不到1%的训练样本会出现对齐失败,这时候会退化成标准GRPO),这种兜底机制能撑多久,会不会在更复杂、更长的提示词场景里暴露得更明显?语言本身的歧义性和多义性,会不会让"语义边界"这件事在某些语境下根本就不是一个良定义的问题?这些留白,或许就是下一篇论文要回答的事情了。

Q&A

Q1:SCOPE解决的核心问题是什么?

A:SCOPE解决的是AI在训练提示词改写器时的"

Q2:SCOPE相比标准GRPO提升了多少?

A:在GenEval评测基准上平均相对提升9.48%,在T2I-CompBench评测基准上平均相对提升7.62%。具体到某些细分项,比如SD3模型上的空间位置准确率从0.57提升到0.83,提升幅度达到45.6%,这类组合能力一向是AI画图模型最薄弱的环节。

Q3:SCOPE需要额外渲染图片或训练新模型吗?

A:不需要。SCOPE复用现有的渲染和打分流程,改写器在生成提示词的同时顺带标出语义分段,权重调整依据的是模型更新前后对同一段文字判断变化的幅度,不需要为每个语义段落单独渲染图片或训练额外的评分模型,计算成本基本持平。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 资本转投AI后,2026年游戏融资还有谁在出手

    文/唏嘘导语“纯游戏融资难,资本正在转向AI”,茶馆在今年中旬的一篇文章里写到。这背后有一个现实难题:游戏项目的市场表现很难在早期准确预测,但研发、宣发和运营等成本却相对可见。随着玩家对画面、玩法和内容量的期待不断提高,项目投入也在增加,而游戏产品的定价并没有同步上涨。因此,游戏投资常被视为一场结果难...

    来源 腾讯网
  2. 腾讯三季度财报:游戏稳增,AI投入猛涨,游戏业务是陆军还是海军?

    「 点击上方"GameLook",订阅微信 」11月18日,腾讯发布了2026年第三季度财报。单季度总营收达2073.36亿元,同比增长8%。拆分到游戏板块,本土市场游戏收入476亿元,同比增长11%,在庞大基数上依旧保持双位数增长,背后是《三角洲行动》《无畏契约:源能行动》《王者荣耀》等产品的共同驱动;国际市场游戏收

    来源 腾讯网
  3. 快手Q3营收316亿:可灵AI增收,日活4.17亿

    亿欧最新获悉,11月19日盘后,快手科技发布2026年第三季度业绩。财务数据显示,今年第三季度公司实现营收315.92亿元,经调整净利润7.9亿元。具体来看,线上营销服务收入为178.71亿元,占总营收的56.6%;直播收入为77.52亿元,占比24.5%;其他服务收入为59.69亿元,占比18.9%。图片来源:快手科

    来源 腾讯网
  4. 腾讯音乐三季度营收89.41亿:AI歌曲日均入库45%,平台怎么接招

    音乐平台从未像今天这样不缺新歌,但下一个能够持续创造商业价值的音乐明星,依然难寻。 11月17日,腾讯音乐公布2026年第三季度财报,营收89.41亿元,同比增长5.6%,低于市场一致预期。 依靠高阶会员、演唱会和艺人周边,这家在线音乐巨头正进一步挖掘成熟IP的商业价值,但主力产品的用户活跃度仍然承压。 存量IP的生意

    来源 AI 行业观察
  5. Anthropic上市在即:创始团队多出自物理,AI大佬为何扎堆物理背景

    当年觉得自己“晚出生了一百年”,没赶上物理发现大爆发年代,当下在AI里找到了黄金时代。 史上最大IPO背后,站着一群“转行”物理学家。 美东时间11月19日,Anthropic将以代码“ANT”在纳斯达克挂牌。除公开发行外,公司还将同步进行私募配售,两部分合计募资规模最高约904亿美元;按发行价区间上限计算,完全稀释后

    来源 AI 行业观察
  6. 「镁伽科技」完成近2亿美元融资,建设直接面向真实世界的AI智能基础设施|36氪首发

    文|胡香赟 编辑|海若镜 36氪获悉,近日,镁伽科技已完成新一轮近2亿美元融资。本轮融资由阿曼苏丹国主权财富基金阿曼投资局(OIA)参与投资,亚投资本、Granite Asia、创新工场等老股东加注,招银国际、苏创投、三江招商集团等机构跟投,覆盖国际主权资本、头部金融资本及地方国资产业资本等。 当前,AI for Sc

    来源 腾讯网
  7. 三星AI眼镜预售数小时售罄:12月10日韩美开卖,65万韩元起

    IT之家 11 月 19 日消息,三星电子与谷歌、Gentle Monster 联合推出的人工智能眼镜“Intelligent Eyewear”,尚未正式上市便取得了不错的市场反响,关键型号在预售开启后数小时内便售罄。 韩国眼镜品牌 Gentle Monster 宣布,“Intelligent Eyewear”的核心款

    来源 AI 行业观察
  8. 网易高管回应“短剧爆火”:短期吸引用户较高关注度,游戏互动优势不可替代

    网易高管罕见公开回应了AI短剧相关问题。11月19日,据网易(Nasdaq:NTES,0999.HK)第三季度财报显示,网易三季度实现净收入279亿元,同比下降1.8%;毛利润190亿元,同比增长4.8%,毛利率由去年同期的约64.1%提升至68.3%。归属于公司股东的净利润约84亿元,非公认会计准则下归母净利润约92

    来源 腾讯网
  9. 国产科幻单机《时空低语》预告片首发:22人团队投入超3亿

    首款国产科幻动作单机游戏《时空低语》全球首发预告片,引发行业广泛关注。同年8月28日,他正式做出决策:带领团队全面转向大型单机游戏开发,将此前弹幕互动赛道积累的1亿元资金全部投入《时空低语》项目,开始主机游戏研发。扎根文化原创 探索中国科幻单机游戏的独特路径不同于传统西方科幻的叙事逻辑,《时空低语》从立项之初就确立了“

    来源 TechWeb
  10. HPE发布ProLiant Gen13服务器:搭载AMD第六代EPYC,主打AI推理与安全

    【TechWeb】11月19日消息,HPE正式推出两款搭载第六代AMD EPYC™处理器的HPE ProLiant Gen13服务器。面向AI推理与智能体AI等新兴工作负载带来的计算需求,全新系列产品进一步提升计算性能、内存带宽及I/O能力,助力企业加速智能体AI、AI推理、数据分析、虚拟化、仿真与建模等多元工作负载的

    来源 AI 行业观察
  11. 吴泳铭:2027年后阿里绝大部分新增AI芯片将由平头哥和国产芯片供应

    本文来源:时代财经 11月19日,在阿里巴巴2027财年第二季度财报分析师电话会上,集团CEO吴泳铭表示,2027年之后,阿里绝大部分新增的AI芯片供给以平头哥的芯片为主,同时会从其他国内供应商采购部分芯片用于支持推理类工作任务。吴泳铭称,2027年一季度,新一代平头哥的国产芯片完全可以支持超大规模模型的训练。“随着平

    来源 腾讯网
  12. 三季度营收利润双降,网易回应短剧争夺用户注意力

    短剧的爆发让游戏大厂也感受到了争夺用户时间的压力。 11月19日晚,在网易2026年第三季度业绩电话会上,管理层被问及短剧对游戏行业的影响。网易创始人兼CEO丁磊坦言,短剧今年呈现爆炸式发展,对用户注意力的吸引力巨大,短期内确实会对游戏产生影响。 在这一表态背后,网易今日交出了一份不及市场预期的成绩单。三季度网...

    来源 腾讯网
  13. HPE推ProLiant Gen13服务器:搭载第六代AMD EPYC,主打AI推理与安全

    为此,HPE以全新ProLiant Gen13服务器作出系统性回应。HPE此次推出的两款ProLiant Gen13服务器,融合HPE深厚的工程技术积淀与AMD EPYC 9006 SP7处理器的性能优势,在核心密度、内存带宽及I/O能力等方面实现进一步提升,为企业应对AI时代多元化、复杂化的计算需求提供强劲算力支持。

    来源 TechWeb
  14. HPE ProLiant Gen13上新:第六代AMD EPYC加持,面向AI推理与企业负载

    为此,HPE以全新ProLiant Gen13服务器作出系统性回应。HPE此次推出的两款ProLiant Gen13服务器,融合HPE深厚的工程技术积淀与AMD EPYC 9006 SP7处理器的性能优势,在核心密度、内存带宽及I/O能力等方面实现进一步提升,为企业应对AI时代多元化、复杂化的计算需求提供强劲算力支持。

    来源 TechWeb
  15. AI智能体“闯入”银行系统?亚利桑那州对OpenAI等企业启动刑事调查

    【TechWeb】11月19日,据路透社报道,美国亚利桑那州已对OpenAI及其他人工智能企业启动刑事调查,案件核心指向“失控AI智能体疑似入侵银行系统”事件。该州总检察长克里斯·梅耶斯(Kris Mayes)周三在芝加哥的新闻发布会上表示:“亚利桑那州对此非常担忧,我们正从多个角度审视这一问题。” 梅耶斯透露,其办公

    来源 AI 行业观察
  16. 有道Q3经营利润同比增长19.2% AI订阅销售额超1亿

    网易有道公布了2026年第三季度未经审计的财务业绩。报告期内,有道持续推进AI原生战略,聚焦高质量、高毛利率业务,AI应用在学习、办公、营销等场景纵深落地,盈利能力与经营质量保持稳健提升。

    来源 TechWeb
  17. AI视频生成提速的代价:四步生成为什么总是糊的?

    你有没有试过把一张高清照片用美颜软件疯狂磨皮,磨到最后五官轮廓还在,但皮肤纹理、睫毛、发丝这些细节全没了?这其实就是现在AI视频生成模型在做的事情,尤其是当你要求它"快一点,再快一点"的时候。**这篇论文要讲的故事,就是研究者们怎么跟这种"磨皮式模糊"较劲的。**视频扩散模型要跑得快,到底难在哪先说说背景。现...

    来源 腾讯网
  18. OpenAI等AI企业遭亚利桑那州刑事调查:失控智能体疑入侵银行

    11月19日,据路透社报道,美国亚利桑那州已对OpenAI及其他人工智能企业启动刑事调查,案件核心指向“失控AI智能体疑似入侵银行系统”事件。该州总检察长克里斯·梅耶斯(Kris Mayes)周三在芝加哥的新闻发布会上表示:“亚利桑那州对此非常担忧,我们正从多个角度审视这一问题。”

    来源 TechWeb
  19. 亚利桑那州刑事调查OpenAI等AI企业:智能体被指入侵银行系统

    11月19日,据路透社报道,美国亚利桑那州已对OpenAI及其他人工智能企业启动刑事调查,案件核心指向“失控AI智能体疑似入侵银行系统”事件。该州总检察长克里斯·梅耶斯(Kris Mayes)周三在芝加哥的新闻发布会上表示:“亚利桑那州对此非常担忧,我们正从多个角度审视这一问题。”

    来源 TechWeb
向下滚动自动加载更多