AI画图文字总写错怎么办?阿里浙大PixText给出像素级修字方案

资讯 腾讯网 作者:科技行者 全文 5029 字 · 约 13 分钟读完 分类学术研究

你有没有发现一个很奇怪的现象。现在的AI画图工具已经强到离谱了,随便输入一句话,就能生成一张光影、构图、氛围感都拉满的图片。可只要图里出现文字,事情就开始变得滑稽。招牌上的字缺胳膊少腿,海报上的标题多一笔少一划,甚至干脆变成一堆谁都认不出的乱码符号。这事儿说起来挺讽刺的。一个能画出以假乱真的人脸、能模...

所属频道 前沿研究

你留意过吗,AI画图工具如今强得有点不讲道理,写一句话丢进去,光影、构图、氛围感都能给你拉满。偏偏图里一出现文字,场面就变得好笑:招牌上的字缺胳膊少腿,海报标题多一笔少一划,甚至直接糊成谁都不认识的乱码。

说起来挺讽刺。一张能以假乱真的人脸、连光线反射都能模拟出来的图,几个汉字笔画却写不对。毛病出在哪?阿里巴巴和浙江大学的研究者顺着这条线一路挖,最后整出一套方案,叫PixText。这篇论文有意思的地方是,它没打算重新训一个更强的大模型去硬啃文字生成,而是拐了个弯:大模型出的图大体没问题,只是局部几个字错了,那就只修那几个字,别处一概不动。

思路听着简单,真做起来讲究不少,我们一项一项拆开看。

文字为啥总成生成模型的软肋

先看眼下主流图像生成模型怎么干活。这套压缩再解压的流程,碰上大面积天空、草地、人脸都没事,这些内容本来就能容忍一定程度的模糊和近似。文字不行。一个汉字可能才20个像素高,横竖撇捺之间就隔两三个像素,压缩一旦把这层细节丢掉,解压出来的字形就彻底走样。论文里做了实验,用

**

好比你把一份手写笔记拍下来,压成很小的文件再传给别人,背景色块糊一点无所谓,可笔记里要是有密密麻麻的小字,压狠了那些字可能就连成一团墨。不压呢,传输和存储的成本又顶不住。这个两难,正是文字生成一直难啃的根子之一。

那能不能只把出错的一小块单独解压,省点力气?研究者试过,效果更差。他们用得出的结论是,单纯局部解码靠不住,解码器拿到的上下文太少,判断不出这一小块该是什么颜色基调,只能自己猜,猜出来的颜色自然跟周围对不上。

全图重绘:看着简单,风险藏在里面

局部解码既然有问题,那就换个路子:整张图重新生成一遍,上下文齐全,颜色总该准了吧?这恰恰是现在不少文字编辑方法的做法,包括

但代价藏得深。研究者对比了全图重绘前后的颜色变化,背景色偏移的幅度比单纯VAE压缩解压造成的损失还大。换句话说,全图重绘这个动作本身,就会悄悄把背景的颜色基调往另一个方向拽。细想挺反常识:重新生成整张图,按说该比局部拼接更协调,怎么反而偏得更多?原因在于扩散模型的生成过程自带随机波动,同一张图,每多走一步生成流程,颜色、纹理都会轻微漂移。你改的区域越小、需要重绘的面积越大,漂移累积的范围就越大,背景色跑偏的风险反倒更高。

这就像你只想把一页文档里打错的一个字改掉,工具却非要把整页重打一遍。打印机再精准,每次开机重印,纸张吃墨的程度、油墨的浓淡都有细微差别,印的次数越多,累积的偏差越明显。你要的是精准修一个字,拿到手的却是一整页风格略有走样的新文档。

PixText的核心思路:只生成要改的那块

问题摸清了,PixText的方案一句话能说完:直接在像素空间里干活,不走VAE压缩解压,而且只生成需要修改的区域,其余部分原样保留。

**

这个选择看着简单,背后有个效率难题要解。像素空间的数据量比潜在空间大得多,每次生成都处理整张高分辨率图的像素,计算成本高到没法接受。PixText的办法是采用一种叫

更关键的设计,是「只生成需要改的区域」怎么落地。PixText把原图当作提供背景信息的「主图像」,把每处要修正的文字区域单独截出来,称为「条目图像」——就是从原图里截出的、待生成或待修正的局部区域,比如一个汉字或一个英文单词所在的方框。

好处很明显。没动的区域压根没被重新生成,背景漂移的问题也就不存在,因为背景根本没被碰过。论文给出的实验数据很能说明问题:在作者构建的测试集上,PixText的背景颜色误差指标明显好于全图编辑方案,而且抽样数量越多,误差分布的差距还越拉越大。

好比你家里墙上某个角落的壁纸破了一块,正常做法是只换那一小块,色号对准、裁好尺寸贴上去,没必要把整面墙的壁纸全撕了重铺。全撕重铺也能解决问题,可新壁纸和旧壁纸批次不同,整体色调很可能对不齐,反倒添出新的别扭。PixText选的,就是「只换这一块」的精细路子。

主图、条目图和文字模板三者如何对齐,是这套方案要处理的第一件事。

可条目图是从主图里单独抠出来的小块,尺寸跟主图差着量级。模型凭什么判断这块小图该落在原图哪个位置、按什么角度生成?

PixText为此设计了中心化连续位置编码(CCPE)。

CCPE的思路是:主图像的像素、单独截取的条目图像,以及描述目标文字形状的信息,都放进同一套坐标系里。

拿拍电影打比方。主摄像机拍全景,特写镜头只拍演员的脸,两段素材看似独立,剪辑师靠场记板上的时间码,就能知道特写对应全景里的哪一秒、哪个空间位置,画面才不会错位。没有统一的时间码,特写和全景各拍各的,剪辑时靠肉眼对,出错概率会直线上升。

这套坐标系允许条目图像从任意像素位置起截,不必对齐到主图像的网格线。这个细节带来了实打实的效率提升:论文统计了超过11万个文字区域,用“不对齐网格”的裁切方式,比强制对齐网格减少13.7%的处理量,不用为凑整多截一圈无用边缘像素。

至于目标文字长什么样,PixText交给字形模板来描述。

分组处理:多个错字一起改,彼此还能通气。

一张图里可能同时有好几个字写错,一句话里三四个字都出错也不稀奇。PixText把这些待修区域打包成一个“组”,一次性送进模型联合生成。

模型内部的注意力机制划分了权限:主图像与各条目图像之间双向可见,不同条目图像之间也能互相感知,修A处的字时可以参照B处字的风格是否一致。每个字形图像却只能跟配对的那个条目图像对话,不会与别的条目图像串线。

这层限制防的是“张冠李戴”。少了它,模型同时处理多个待修区域时,可能把A区域该写的字形信息错套到B区域,两个字形长得像的时候尤其容易出事。

好比一个翻译团队同时处理多语言文件,每人负责一段,同坐一间会议室,随时交流语境和术语,整体风格才统一。但各人拿到的原稿是独立分发的,不会有人误拿别人的稿子去翻。少了“既能交流又不串稿”的机制,译文很可能风格割裂,甚至把内容翻错。

训练中的两个小发现:

论文里还记了两个不起眼但实用的技巧。

第一个跟训练时的采样方式有关。按原来的做法采出来的样本,生成的图像上会冒出网格状瑕疵。

换成均匀分布采样后,这种网格状瑕疵明显减轻。这个发现不只对PixText自己有效,研究者拿另一个模型来试,同样管用。

第二个技巧落在采样的最后一步。业界原本的做法(包括JiT等模型)会在收尾时做一层打折处理。

PixText改为在最后一步直接把模型预测的“干净图像”原样返回,不再打折。论文配图显示,背景的高频噪点因此明显减少。

四步出图:用MeanFlow把速度提上来。

准确性和保真度有了着落,还剩一个硬指标:速度。

传统扩散模型生成一张图,要走几十步甚至上百步迭代去噪,每步都跑一次完整神经网络,部署时的开销不小。

PixText引入了MeanFlow。

MeanFlow的思路是训练一个“学生模型”,去学“老师模型”在一段时间区间内的平均变化速度,而非传统方法那样每步只预测瞬时变化方向。学生模型于是学会“大步跳跃”而非“小步挪动”,四步就能走完原本几十步的生成过程。

这像请一位老练向导带你穿越复杂地形。新手只会说“下一步往哪迈”,走一步看一步,磕磕绊绊许多步才出去;老手一眼看出整段路线走向,直接告诉你“从这里到那个标志物,保持这个方向大步走”,省去反复确认方向的时间。没有对整体趋势的把握,向导只能一步步试探,效率自然上不去。

论文对这套蒸馏方案的数值处理做得很细。这个方法要靠对相近预测值做差分来估导数,过程对数值精度格外敏感,精度一不够,误差就会被放大。研究者专门做了测试:全程用低精度(BF16)算,导数估计的相对误差能冲到192%以上,几乎没法信;全程用高精度(严格FP32)算,误差能压到接近零,但耗时涨了30多倍。他们最后选了混合精度,只在算导数那一步用高精度,其余保持低精度,误差压到18.92%,耗时只比全程低精度多28%。说到底,不是每个计算环节都值得上最贵的精度,只在真正敏感、容易出错的地方加码,别处能省就省。这种把好钢用在刀刃上的做法,工程里其实很常见,但能把它量清楚、拿具体数据说话,才是这篇论文扎实的地方。

落到最终效果上:四步生成的MeanFlow版本,跟25步的完整版本比,生成准确率只掉了1.21个百分点,可每张图的平均GPU计算时间压到了原来的约五分之一,不到1秒。

测试基准:为“局部纠错”专门定做

设计了这么多,总得有一把客观的尺子来量效果。现有的基准不够用,研究者就自己搭了一个新测试集,叫**文字修复基准**(Text Refinement Bench),素材取自真实的AI生成图片(包括公开的

评估时还有一处讲究。普通OCR工具有时会把一个明显写错、缺胳膊少腿的字“宽容”地认成正确答案,评估结果就会被抬高。为堵住这个口子,研究者引入了一个叫**

在这个新基准上,PixText拿到83.06%的通过率和94.66%的精确识别准确率,而对比的最强基线方法

论文还另外测了和商业化产品的对比。

写在后面

读完这篇论文,有个细节让我反复琢磨。

研究者提到,现在不少大模型团队优化文字准确度时会遇到一个两难:文字渲染奖励调得太猛,模型为了拿高分就把字写得又大又抢眼,整张图的美感和协调性反倒被牺牲。这个细节耐人寻味——“把一件事做对”和“把一件事做好”有时是两条路,优化目标稍微一偏,整体效果就跟着跑偏。PixText把文字修复从整体生成任务里拆出来单独做,某种程度上绕开了这个两难:不要求一个模型既画得美又写得准,而是让两个环节各管各的。

另一点,论文附录展示了PixText在训练语料之外的生成效果(日语、韩语,以及阿拉伯数字之外的数学符号、音乐符号这些)。模型主要用中英文数据训练,可靠着字形图像这种“直接给你看长什么样”的条件输入,它照样能照猫画虎地生成一些没见过的文字系统。这多少说明:只要给模型足够直观的视觉参照,它的泛化边界可能比训练数据的边界更宽。背后原理值得继续深挖,但至少给了一条思路——小众语言、特殊符号的生成难题,未必非得收集海量专属训练数据,找到合适的条件输入方式也许是条捷径。

Q&A

Q1:PixText解决的核心问题是什么?

A:它专门对付AI生成图片里局部文字出错的问题,比如招牌、海报上个别汉字笔画写错或英文拼错。做法是只生成需要修正的那一小块区域,其余画面原样保留,从而避开传统方法整图重绘带来的背景颜色漂移。

Q2:PixText为什么不用VAE压缩方案来生成图片?

A:因为VAE的压缩解压过程会丢掉小字的笔画细节。论文实测发现,一个约20像素高的汉字经过

Q3:PixText的生成速度如何,是否足够快?

A:PixText用MeanFlow蒸馏技术把生成步数从25步压到4步,平均每张图的GPU计算时间不到1秒;准确率相比完整25步版本只降了1.21个百分点,速度和效果都顾上了。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. AI写汉字出错,OCR为何仍给出0.99置信度

    你有没有见过一张设计精美的海报,配色考究,排版专业,但凑近一看,上面某个汉字多了一笔或者少了一撇?远看完全正常,近看才发现问题。这种事现在越来越常见了,因为AI生成图片已经能把中文文字写得像模像样,但"像模像样"不等于"完全正确"。**这篇论文要解决的问题,说出来你可能都没想到:现在最强的OCR识别模型,面对一个...

    来源 腾讯网
  2. AI拍电影记性差怎么破:浙大等团队给生成系统配了两本记忆账本

    你有没有玩过那种需要来回跑图的游戏。角色先去了厨房,又去了卧室,又去了院子,然后游戏突然要求你回到厨房,去检查一下你之前有没有把炉子关掉。如果这个游戏记性不好,每次你回到厨房,炉子的状态都是随机的,跟你离开时的样子对不上,那这游戏大概率会被你骂到退款。现在把这个场景换成AI拍视频,你就能摸到这篇论文想解...

    来源 腾讯网
  3. AI读长文档是真理解还是表面匹配:LongR用信息增益给引用打分

    你有没有遇到过这样的情况:让AI帮你从一份几十页的合同里找某条关键条款,它给出的答案看起来头头是道,结果你一核对,发现它根本没找对地方,甚至压根没把合同看完就开始编了?这不是你一个人的经历。2026年初,一篇名为LongR的论文揭示了一个挺扎心的事实:当下的大语言模型在处理长文档时,很多时候靠的不是真正的阅读...

    来源 腾讯网
  4. 百度Q3财报:AI新业务占一般性收入53%,智能云同比增94%

    第三季度经营现金流为人民币28亿元,截至2026年9月30日,百度公司现金及投资总额高达人民币2766亿元。AI新业务占比达53%,传统业务承压本季度百度最大的亮点在于业务结构的根本性改变。在11月12日的百度世界2026大会上,百度创始人李彦宏宣布推出连接AI模型服务商与客户的交易平台“词元所”。另外,AI应用板块,

    来源 TechWeb
  5. 百度三季报:AI新业务营收132亿,占比53%连续三季过半

    4天前,在百度世界2026大会上,百度创始人李彦宏用“新电能”与“新厂房”作比,提出一个判断:AI只是新电能,企业若只换“电机”而不重新设计“厂房”,投入便难以转化为产出。11月16日晚间,百度2026年三季报给出了阶段性的答案:虽然进度有限,但报表中的AI成色日趋“浓郁”。财报显示,百度三季度总营收约308亿元,同比

    来源 腾讯网
  6. 苹果 tvOS 27.3 Beta 2 引导界面:Siri AI 可选新版或经典版?

    IT之家 11 月 17 日消息,消息源 @itspdfu 今天(11 月 17 日)在 X 平台发布推文,报道称在 tvOS 27.3 Beta 2 更新中,苹果为 Siri AI 带来全新引导设置界面,用户可以选择尝试新版助手,也可以继续使用经典版 Siri(Siri Classic)。IT之家此前报道,苹果此前已

    来源 腾讯网
  7. 腾讯总办号召AI时代再创业:不拥抱智能革命就是被颠覆

    【TechWeb】11月16日消息,今日,“腾讯文化”公众号发文《总办号召 AI 时代再创业,“心态归零”》,再度谈及28岁生日这天,腾讯总办对AI时代的机会、挑战与选择的看法。 文章指出,面对技术变革的巨浪,没有人是旁观者。所有人都要做出选择。如果不想被颠覆,真正重要的事只有一件:一起动起来。“现在进行的智能革命如果

    来源 AI 行业观察
  8. 腾讯总办喊话AI再创业:不投入拥抱就是被颠覆

    今日,“腾讯文化”公众号发文《总办号召 AI 时代再创业,“心态归零”》,再度谈及28岁生日这天,腾讯总办对AI时代的机会、挑战与选择的看法。文章指出,面对技术变革的巨浪,没有人是旁观者。所有人都要做出选择。如果不想被颠覆,真正重要的事只有一件:一起动起来。“现在进行的智能革命如果不投入拥抱,就是被颠覆。这是一个生死存

    来源 TechWeb
  9. AI搅动面板业:存储涨价传导,OLED与新技术路线开打

    产业链的景气度,往往是终端市场最直接的镜像。当手机、PC、电视等消费电子产品进入增长乏力的阶段,上游供应链很难独善其身,尤其是面板行业,如今正在经历一场新的周期考验。“内存价格的飙涨,让我们的客户在定价和销量之间产生了巨大的纠结。”在DTC 2026大会上,TCL科技集团高级副总裁、TCL华星首席执行官赵军直接指出..

    来源 腾讯网
  10. 十种自我蒸馏方法同台横评:132次训练花了12124.4个H800 GPU小时

    2026年,如果你在凌晨刷arXiv,大概每隔两天就会看到一篇新论文宣称自己找到了训练AI智能体的更好方法。这不是夸张的说法。有研究者统计过,过去三个月里,专门研究"自我蒸馏"这个方向的论文多达47篇,平均每1.9天就有一篇新作发布。这个速度放在任何一个科研领域都堪称疯狂,相当于一个足球联赛,每隔一场比赛就冒出一个新的

    来源 腾讯网
  11. 长飞光纤前三季营收191亿:光谷老产业接住AI新需求

    界面新闻记者 | 肖芳界面新闻编辑 | 文姝琪 AI算力需求持续升温,曾经被视为增长见顶的光纤光缆行业,正在迎来新一轮景气周期。位于武汉光谷的长飞光纤,正是这一轮AI行情中的明星企业。今年前三季度,长飞光纤销售收入达到191亿元,同比增长86%。今年以来,长飞光纤股价一度涨幅超过400%。但这并不是一场突然降临的好运。

    来源 腾讯网
  12. CataX AI种轮融资4000万:Agent原生推进新药临床开发

    近日,上海凯思达生物医药科技有限公司 宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。CataX AI创立于上海,是一家智能体原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-of-One”这一全新的组织范式,计划通过许可引进或共同开发,推动临床前及

    来源 TechWeb
  13. CataX AI获4000万种子轮融资,用Agent推进新药临床开发

    近日,上海凯思达生物医药科技有限公司 宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。CataX AI创立于上海,是一家智能体原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-of-One”这一全新的组织范式,计划通过许可引进或共同开发,推动临床前及

    来源 TechWeb
  14. 卖出AI硬件,已成为全球投资者共识

    过去两年,全球资本市场最拥挤的交易之一,就是买入AI硬件。 英伟达的GPU、博通的定制芯片、台积电的先进制程,以及光模块、服务器、电源和散热设备,几乎构成了AI投资浪潮中最确定的一条受益链。 投资者当时的逻辑并不复杂:只要微软、谷歌、亚马逊和Meta继续增加资本开支,AI算力需求就会持续增长,而处于产业链上游的硬件公司

    来源 AI 行业观察
  15. 莱昂式AI social agent:话说得漂亮,事却办错了?

    玛雅问同事莱昂:"明天的客户提案你能帮我个忙吗?"莱昂立刻回答:"别担心,明天的演示我来接手。"这句话听起来很贴心,对吧?一个同事主动揽下责任,听起来像个靠谱的人。但问题是,玛雅根本没打算缺席明天的会议,她只是想让莱昂帮她核对一下预算那页幻灯片。莱昂的这句"我来接手",说得又快又暖,却完全搞错了方向。这不...

    来源 腾讯网
  16. 美国拟封堵云端算力通道:中国远程使用AI芯片或受限

    据Ars Technica报道,美国政府正着手封堵一个关键漏洞:中国机构无需进口实体芯片,只要通过云端租用算力即可远程使用美国最先进的AI芯片。特朗普政府押注北京不会为此大动干戈,但这一举措可能重塑全球AI算力的流动方式,也让云服务商与芯片厂商站到了出口管制的最前线。

    来源 AI 科技快讯
  17. 吕本富谈AI开源与闭源之争:开放共享是AI普惠必答题

    人工智能(AI)领域已经存在开源与闭源两大阵营,二者在理念、路径与影响上差异显著。开源以“众乐乐”的开放共享为底色,闭源则依托封闭模式追求高效商业转化。两者各有优劣,共同塑造着AI的未来格局。黄仁勋事件后,国际舆论场中出现一种担忧:开放权重与开源AI是否会遭受打击?笔者认为答案是否定的。从底层逻辑上看,开...

    来源 腾讯网
向下滚动自动加载更多