AI写汉字出错,OCR为何仍给出0.99置信度
你有没有见过一张设计精美的海报,配色考究,排版专业,但凑近一看,上面某个汉字多了一笔或者少了一撇?远看完全正常,近看才发现问题。这种事现在越来越常见了,因为AI生成图片已经能把中文文字写得像模像样,但"像模像样"不等于"完全正确"。**这篇论文要解决的问题,说出来你可能都没想到:现在最强的OCR识别模型,面对一个...
配色讲究、排版专业的一张海报,凑近看却发现某个汉字多了一笔或少了一撇——这样的场景你遇到过吗?
远看毫无破绽,近看才露出马脚。AI生成图片如今已能把中文文字写得有模有样,这类情况也随之多了起来。不过,写得像不等于写得对。
一个明显写错的汉字,OCR识别模型给出的置信度竟然高达0.99。换句话说,机器自己也没看出这个字有问题。
难点究竟在哪儿
先交代一下背景。眼下的图像生成模型越来越强,
可模型越强,暴露出来的问题也越细。英文出错容易处理:把“hello”写成“hollo”,随便一个OCR模型扫一遍就知道不对劲,因为识别出的字母序列变了。中文则是另一回事。
OCR指光学字符识别,也就是让机器“读”出图片里写的是什么字。
汉字有六千到八千个,结构复杂,每个字又由更小的部件拼成。多一笔、少一笔,或者某个部件写歪了,人眼扫一下多半仍能认出是哪个字,这靠的是大脑强大的纠错能力。OCR模型恰恰也是照这个思路训练的:它得在各种字体、各种形变、各种模糊条件下都准确认出“这是什么字”,因此对字形上的细微偏差本就刻意不敏感。
矛盾就在这里:识别模型越“聪明”,越能在干扰下认出正确的字,它反而越发现不了字形本身写错了。
论文里有个例子挺扎心。生成的图片中,“基”字少写了一笔。把这张图交给
>
这就像请了一位阅读速度极快的校对员:他读书从不读错字,可你要是让他检查书里有没有印错的字,比如把“末”印成了“未”,他扫一眼就自动脑补成正确的字,真正的印刷事故反倒漏了过去。这位校对员的强项是“理解内容”,不是“揪出细节偏差”,两件事看着相关,实际是两种完全不同的能力。继续指望他去抓印刷错误,错误就会一直漏下去——他的训练目标从一开始就不是为了挑错。
出版、教育这类场景对细节零容忍,海报上错一个字,整张图就废了。研究者因此意识到,只靠识别技术不够,得专门做一个“较真”的工具。
换个问法:不问“这是什么字”,改问“这个字写对了吗”
研究团队给出了新的任务定义,叫做
这个转变看着不大,实则是把任务从“开放式识别”收窄为“条件式判断”,难度和侧重点都变了。拿美术老师打比方:一种任务是看学生的画猜他画的是什么动物;另一种是你已经知道他要画猫,只需判断这只猫画得对不对、耳朵有没有漏画。后者对细节的要求明显更高,因为答案已经锁定,没法靠“大概是这个意思”蒙混过去。
有了新定义,团队给判断过程搭了个更精确的框架:每个汉字其实都对应着一整个“合法写法的家族”,楷体、行书、艺术字、设计师自定义字体都是这个字的合法变体,它们共同构成一个
造一个不认字、只认“结构”的模型
顺着这个思路,团队做出了
CLIP是一种经典架构,让图片和文字能在同一个“语义空间”里对比,通常由图片编码器和文字编码器组成,两边分别把输入转成向量,再看两个向量靠不靠近。
这里有个关键改动。若把每个汉字当作独立符号直接丢给文字编码器,比如把“好”当成一个孤立ID,模型学到的会是一张查表式的“字典”,字与字之间毫无联系,也根本学不到“这个字结构上哪里不对”。
团队的做法是:不喂单个汉字符号,改喂这个字的
IDS全称Ideographic Description Sequence,即“表意文字描述序列”。它用一套固定的结构符号和部件符号,把汉字唯一地拆成“什么部件、怎么组合”的形式。比如“明”可以写成“?日月”,意思是左右结构,左边是日,右边是月。
把结构相近的字摆在一起,它们的IDS序列也会靠得很近。“相”“想”“霜”“箱”拆到最底层,都带着“木目”这个共同部件。拿IDS去喂模型,等于提前告诉它这些字本来就有亲缘关系,模型组织出来的“文字理解空间”也就顺着汉字自身的结构逻辑走,不会变成一堆互不相干的孤立符号。
论文专门做实验检验了这个思路。团队拿IDS训练的文字编码器和单字符号训练的版本作对比,看各自的向量空间跟汉字结构真实相似度能不能对上。结果很清楚:用IDS训练的模型,两个字拆解越接近,向量空间里的距离就越小,相关性系数(
IDS设计拿掉会怎样?论文的消融实验给了答案:把IDS换成单字符号,
这就像请一个没学过偏旁部首的外国人来校对汉字。他能看出“大”和“天”明显不一样,可“未”和“末”只差一笔,他就很难察觉,因为脑子里没有“部首”“笔画”这类结构参照,只能靠整体轮廓去猜。从小拆过偏旁的人不同,扫一眼就知道哪一笔多了或少了,他脑子里有一套拆解汉字的坐标系。IDS干的事,就是把这套坐标系装到模型身上。
### 训练数据从哪来:三阶段打怪升级
架构好还不够,得有对应的数据来训。这篇论文花心思最多的地方,其实是怎么不靠人工标注、低成本地弄到大量训练数据,尤其是“看着很像、实际确实错了”的难例。
团队搭了三阶段训练流程,每个阶段喂不同性质的数据,解决不同层次的问题。
**第一阶段,先学“认识字”。**
这一步用的是从大约250万张真实图片里,通过
模型到这儿能分清明显不同的字了,但有个盲区:它只拿同批次里“别的字”当负样本,没碰过“同一个字、但写错了”这种细微差异,所以对笔画级错误基本是瞎的。
**第二阶段,开始学“挑刺”。**
团队用大约30种字体把每个字的标准写法渲染出来,再人工制造一批“错误样本”:故意擦掉一笔(少笔画),或者叠上一笔(多笔画)。此外还用了一个叫
这一阶段合计造出约175万张图,正负标签都明确,训练时用一个带阈值和间隔的损失函数,把正样本的相似度往阈值以上推,负样本压到阈值以下。
**第三阶段是这篇论文里最聪明的设计:不靠人工标注,靠“模型自己训练过程中的副产品”造难例。**
具体怎么做?团队另外训了一个专门“修补”图片文字区域的AI模型(文本区域修复模型)。这个模型在训练过程中,早期的检查点(
这个思路很巧。想收集一个厨师“炒菜从难吃到好吃”的过程样本,请不同水平的厨师各炒一盘并不聪明——食材、火候、调料全是变量,没法只看“手艺”。更干净的办法是固定同一个厨师、同一份菜谱,只让他按自己的学习进度在不同阶段各炒一盘,其他变量全锁死,对比才有意义。不这么做,直接拿网上随便找的“好字”“坏字”图片去训,字体、背景、色彩千差万别,模型很容易学歪,把“颜色不对”或者“背景杂乱”当成“字写错了”,反而盯不住笔画结构本身。
这一招产出约70万对数据,但标签性质跟第二阶段不同,它只说明“后期比前期好”的相对关系,后期那个字未必绝对标准,所以训练时换了一种“
团队对三个阶段分别做了消融实验。去掉第二阶段直接跳到第三阶段,F1掉3.3个百分点;去掉第三阶段训练里“重放”第一阶段损失的部分,掉4.8个百分点;完全不做第一阶段预训练、直接上判别式训练,模型直接崩了,F1只有0.111。判别训练得建在一个已经按字形组织好的表示空间上,空中建楼阁行不通。
### 打分之后怎么用:
模型训好了,实际推理时怎么给一个字打分?
直接比图片向量和文字向量的余弦相似度,听着简单,问题却不少:不同汉字的“基准相似度”天差地别,同一个字的合法写法本身也是多模态的——楷体和草书长得完全不一样,可都是对的。只拿一个固定方向去比,两种合法但长得不像的写法之间的差距,很容易被误判成“写错了”。
团队的办法是给每个汉字留多个“原型”(prototype)。先收集这个字的若干正常写法图片,用
好比判断一个签名是不是本人写的。签名每次落笔都会有点不一样,总体风格却稳定。与其拿一张“标准签名模板”死板比对,不如先收集这个人过去签的十几个签名,按几种常见写法分成参照组,新签名只要跟其中任何一种足够接近,就算真实。签名风格本身的多样性不会造成误判,明显不像本人笔迹的伪造签名也照样揪得出来。
团队还做了K值(原型数量)的敏感性测试。K从8到16,F1分数稳定在0.834到0.844之间,说明这个设计对参数不算敏感,K取10是效果和效率兼顾的选择。
效果究竟如何?
团队为了把评估量化,专门构建了一个全新的评测基准。
结果直接看表格。
| 方法 | 精确率 | 召回率 | F1分数 | 参数量 | 单字推理耗时 |
|---|---|---|---|---|---|
| PP-OCRv6置信度(最优阈值) | 0.455 | 0.623 | 0.526 | 0.06B | 17.2ms |
| Qwen3.8-Max(
|
|
| **TextVerifier(本文)** | **0.830** | **0.858** | **0.844** | **0.36B** | **7.6ms** |
这组数字背后有几层含义可以细说。
OCR置信度这条路基本行不通,即便给它配上最优阈值的"外挂",F1也只到0.526——它的天性就是把字认出来,而不是挑毛病。通用VLM的问题更隐蔽:Qwen3.8-Max和GPT类模型几乎"惜字如金",很少报错,原因是训练时被灌了很强的语言先验,看到字形有点怪,大脑会自动补成正确答案,顺手就帮你纠了错,而这恰恰是验证任务最忌讳的。Gemini 3.7 Flash则相反,报警报得又多又滥,精确率仅0.236,十次报警里七八次是虚惊。
TextPecker是此前的同类工作,拿一个80亿参数的大模型去判断"结构异常",但它有个致命短板:不知道目标该是哪个字,只能笼统看图片有没有"结构异常",于是经常把写得挺好、只是风格独特的正确字也判成异常。其精确率只有0.480,假警报同样不少。
**TextVerifier最终F1达到0.844,精确率0.830、召回率0.858,模型仅0.36B参数,只有TextPecker的二十三分之一大,推理速度是PP-OCRv6的两倍多,是TextPecker的四十多倍。**
又小、又快、又准,三样同时拿到,工程上并不容易,通常得牺牲一头换另一头。
不止于检测,还能反哺生成模型
手里有了靠谱的"挑刺工具",团队没停在评测上,而是把它接进文生图模型的训练闭环,充当强化学习的奖励信号。
具体用的是
奖励设计有个细节颇讲究。一张图里往往不止一个字,团队没有简单地对所有字分数取平均,而是采用"90%均值加10%最差分数"的组合,为的是让"整体还行、但有一个字特别离谱"的图片额外挨罚,防止模型学会拆东墙补西墙,靠把别的字写得特别好来掩盖一个大错字。
这套方法在Qwen-Image这个真实文生图模型上做了后训练,结果显示:只用传统OCR识别准确率(也就是论文里说的
这说明一点,单靠OCR那种"能不能读出正确的字"当奖励,治标不治本,因为它根本不关心字形对不对,模型很容易投机取巧,比如把字写模糊一点蒙混过去,反正OCR照样认得出。加上真正关注字形结构的奖励信号之后,模型才会老老实实把笔画画对。好比考试只看最终答案,学生容易抄近道蒙对;可如果阅卷老师还要检查解题步骤是否规范,学生就不得不把过程做扎实。
后续会怎样
论文提到,这类工作目前还集中在"文本渲染"这个相对局限的任务上,但那套"目标条件化的异常检测"思路,适用面可能更广。比如相关工作里提到的
Q&A
Q1:TextVerifier解决了什么核心问题?
A:针对AI生成图片里汉字写错、却查不出来的情况,TextVerifier给出的办法是专门判断“这个字写对了吗”。以往OCR模型和通用视觉语言模型都是冲着“认字”去训练的,对字形本身对不对并不敏感;这个模型则专攻上述判断任务,多一笔、少一笔、部件错位这类细微的渲染毛病都能找出来。
Q2:TextVerifier和TextPecker这类已有方法比起来优势在哪?
A:TextVerifier的F1分数达到0.844,远高于TextPecker的0.590,同时参数量只有0.36B,是TextPecker(8.29B)的二十三分之一,推理速度快了四十多倍。关键区别是TextVerifier引入了目标字符的IDS结构信息做条件判断,而TextPecker不知道目标字是什么,只能笼统判断"结构异常",容易误判正确但风格独特的字。
IDS在TextVerifier中扮演什么角色?
IDS是一套把汉字拆成部件与结构的描述序列。以「明」为例,拆开来就是「左右结构,左边日,右边月」。模型接收的不再是单个字符号,而是这样一串结构信息,结构相近的字在模型的理解空间里自然就挨得近,笔画级错误的识别能力随之明显提升。消融实验给出的数字是:拿掉IDS,F1分数会掉7到10个百分点。