AI写汉字出错,OCR为何仍给出0.99置信度

资讯 腾讯网 作者:科技行者 全文 5657 字 · 约 15 分钟读完 分类学术研究

你有没有见过一张设计精美的海报,配色考究,排版专业,但凑近一看,上面某个汉字多了一笔或者少了一撇?远看完全正常,近看才发现问题。这种事现在越来越常见了,因为AI生成图片已经能把中文文字写得像模像样,但"像模像样"不等于"完全正确"。**这篇论文要解决的问题,说出来你可能都没想到:现在最强的OCR识别模型,面对一个...

所属频道 前沿研究

配色讲究、排版专业的一张海报,凑近看却发现某个汉字多了一笔或少了一撇——这样的场景你遇到过吗?

远看毫无破绽,近看才露出马脚。AI生成图片如今已能把中文文字写得有模有样,这类情况也随之多了起来。不过,写得像不等于写得对。

一个明显写错的汉字,OCR识别模型给出的置信度竟然高达0.99。换句话说,机器自己也没看出这个字有问题。

难点究竟在哪儿

先交代一下背景。眼下的图像生成模型越来越强,

可模型越强,暴露出来的问题也越细。英文出错容易处理:把“hello”写成“hollo”,随便一个OCR模型扫一遍就知道不对劲,因为识别出的字母序列变了。中文则是另一回事。

OCR指光学字符识别,也就是让机器“读”出图片里写的是什么字。

汉字有六千到八千个,结构复杂,每个字又由更小的部件拼成。多一笔、少一笔,或者某个部件写歪了,人眼扫一下多半仍能认出是哪个字,这靠的是大脑强大的纠错能力。OCR模型恰恰也是照这个思路训练的:它得在各种字体、各种形变、各种模糊条件下都准确认出“这是什么字”,因此对字形上的细微偏差本就刻意不敏感。

矛盾就在这里:识别模型越“聪明”,越能在干扰下认出正确的字,它反而越发现不了字形本身写错了。

论文里有个例子挺扎心。生成的图片中,“基”字少写了一笔。把这张图交给

>

这就像请了一位阅读速度极快的校对员:他读书从不读错字,可你要是让他检查书里有没有印错的字,比如把“末”印成了“未”,他扫一眼就自动脑补成正确的字,真正的印刷事故反倒漏了过去。这位校对员的强项是“理解内容”,不是“揪出细节偏差”,两件事看着相关,实际是两种完全不同的能力。继续指望他去抓印刷错误,错误就会一直漏下去——他的训练目标从一开始就不是为了挑错。

出版、教育这类场景对细节零容忍,海报上错一个字,整张图就废了。研究者因此意识到,只靠识别技术不够,得专门做一个“较真”的工具。

换个问法:不问“这是什么字”,改问“这个字写对了吗”

研究团队给出了新的任务定义,叫做

这个转变看着不大,实则是把任务从“开放式识别”收窄为“条件式判断”,难度和侧重点都变了。拿美术老师打比方:一种任务是看学生的画猜他画的是什么动物;另一种是你已经知道他要画猫,只需判断这只猫画得对不对、耳朵有没有漏画。后者对细节的要求明显更高,因为答案已经锁定,没法靠“大概是这个意思”蒙混过去。

有了新定义,团队给判断过程搭了个更精确的框架:每个汉字其实都对应着一整个“合法写法的家族”,楷体、行书、艺术字、设计师自定义字体都是这个字的合法变体,它们共同构成一个

造一个不认字、只认“结构”的模型

顺着这个思路,团队做出了

CLIP是一种经典架构,让图片和文字能在同一个“语义空间”里对比,通常由图片编码器和文字编码器组成,两边分别把输入转成向量,再看两个向量靠不靠近。

这里有个关键改动。若把每个汉字当作独立符号直接丢给文字编码器,比如把“好”当成一个孤立ID,模型学到的会是一张查表式的“字典”,字与字之间毫无联系,也根本学不到“这个字结构上哪里不对”。

团队的做法是:不喂单个汉字符号,改喂这个字的

IDS全称Ideographic Description Sequence,即“表意文字描述序列”。它用一套固定的结构符号和部件符号,把汉字唯一地拆成“什么部件、怎么组合”的形式。比如“明”可以写成“?日月”,意思是左右结构,左边是日,右边是月。

把结构相近的字摆在一起,它们的IDS序列也会靠得很近。“相”“想”“霜”“箱”拆到最底层,都带着“木目”这个共同部件。拿IDS去喂模型,等于提前告诉它这些字本来就有亲缘关系,模型组织出来的“文字理解空间”也就顺着汉字自身的结构逻辑走,不会变成一堆互不相干的孤立符号。

论文专门做实验检验了这个思路。团队拿IDS训练的文字编码器和单字符号训练的版本作对比,看各自的向量空间跟汉字结构真实相似度能不能对上。结果很清楚:用IDS训练的模型,两个字拆解越接近,向量空间里的距离就越小,相关性系数(

IDS设计拿掉会怎样?论文的消融实验给了答案:把IDS换成单字符号,

这就像请一个没学过偏旁部首的外国人来校对汉字。他能看出“大”和“天”明显不一样,可“未”和“末”只差一笔,他就很难察觉,因为脑子里没有“部首”“笔画”这类结构参照,只能靠整体轮廓去猜。从小拆过偏旁的人不同,扫一眼就知道哪一笔多了或少了,他脑子里有一套拆解汉字的坐标系。IDS干的事,就是把这套坐标系装到模型身上。

### 训练数据从哪来:三阶段打怪升级

架构好还不够,得有对应的数据来训。这篇论文花心思最多的地方,其实是怎么不靠人工标注、低成本地弄到大量训练数据,尤其是“看着很像、实际确实错了”的难例。

团队搭了三阶段训练流程,每个阶段喂不同性质的数据,解决不同层次的问题。

**第一阶段,先学“认识字”。**

这一步用的是从大约250万张真实图片里,通过

模型到这儿能分清明显不同的字了,但有个盲区:它只拿同批次里“别的字”当负样本,没碰过“同一个字、但写错了”这种细微差异,所以对笔画级错误基本是瞎的。

**第二阶段,开始学“挑刺”。**

团队用大约30种字体把每个字的标准写法渲染出来,再人工制造一批“错误样本”:故意擦掉一笔(少笔画),或者叠上一笔(多笔画)。此外还用了一个叫

这一阶段合计造出约175万张图,正负标签都明确,训练时用一个带阈值和间隔的损失函数,把正样本的相似度往阈值以上推,负样本压到阈值以下。

**第三阶段是这篇论文里最聪明的设计:不靠人工标注,靠“模型自己训练过程中的副产品”造难例。**

具体怎么做?团队另外训了一个专门“修补”图片文字区域的AI模型(文本区域修复模型)。这个模型在训练过程中,早期的检查点(

这个思路很巧。想收集一个厨师“炒菜从难吃到好吃”的过程样本,请不同水平的厨师各炒一盘并不聪明——食材、火候、调料全是变量,没法只看“手艺”。更干净的办法是固定同一个厨师、同一份菜谱,只让他按自己的学习进度在不同阶段各炒一盘,其他变量全锁死,对比才有意义。不这么做,直接拿网上随便找的“好字”“坏字”图片去训,字体、背景、色彩千差万别,模型很容易学歪,把“颜色不对”或者“背景杂乱”当成“字写错了”,反而盯不住笔画结构本身。

这一招产出约70万对数据,但标签性质跟第二阶段不同,它只说明“后期比前期好”的相对关系,后期那个字未必绝对标准,所以训练时换了一种“

团队对三个阶段分别做了消融实验。去掉第二阶段直接跳到第三阶段,F1掉3.3个百分点;去掉第三阶段训练里“重放”第一阶段损失的部分,掉4.8个百分点;完全不做第一阶段预训练、直接上判别式训练,模型直接崩了,F1只有0.111。判别训练得建在一个已经按字形组织好的表示空间上,空中建楼阁行不通。

### 打分之后怎么用:

模型训好了,实际推理时怎么给一个字打分?

直接比图片向量和文字向量的余弦相似度,听着简单,问题却不少:不同汉字的“基准相似度”天差地别,同一个字的合法写法本身也是多模态的——楷体和草书长得完全不一样,可都是对的。只拿一个固定方向去比,两种合法但长得不像的写法之间的差距,很容易被误判成“写错了”。

团队的办法是给每个汉字留多个“原型”(prototype)。先收集这个字的若干正常写法图片,用

好比判断一个签名是不是本人写的。签名每次落笔都会有点不一样,总体风格却稳定。与其拿一张“标准签名模板”死板比对,不如先收集这个人过去签的十几个签名,按几种常见写法分成参照组,新签名只要跟其中任何一种足够接近,就算真实。签名风格本身的多样性不会造成误判,明显不像本人笔迹的伪造签名也照样揪得出来。

团队还做了K值(原型数量)的敏感性测试。K从8到16,F1分数稳定在0.834到0.844之间,说明这个设计对参数不算敏感,K取10是效果和效率兼顾的选择。

效果究竟如何?

团队为了把评估量化,专门构建了一个全新的评测基准。

结果直接看表格。

| 方法 | 精确率 | 召回率 | F1分数 | 参数量 | 单字推理耗时 |

|---|---|---|---|---|---|

| PP-OCRv6置信度(最优阈值) | 0.455 | 0.623 | 0.526 | 0.06B | 17.2ms |

| Qwen3.8-Max(

|

|

| **TextVerifier(本文)** | **0.830** | **0.858** | **0.844** | **0.36B** | **7.6ms** |

这组数字背后有几层含义可以细说。

OCR置信度这条路基本行不通,即便给它配上最优阈值的"外挂",F1也只到0.526——它的天性就是把字认出来,而不是挑毛病。通用VLM的问题更隐蔽:Qwen3.8-Max和GPT类模型几乎"惜字如金",很少报错,原因是训练时被灌了很强的语言先验,看到字形有点怪,大脑会自动补成正确答案,顺手就帮你纠了错,而这恰恰是验证任务最忌讳的。Gemini 3.7 Flash则相反,报警报得又多又滥,精确率仅0.236,十次报警里七八次是虚惊。

TextPecker是此前的同类工作,拿一个80亿参数的大模型去判断"结构异常",但它有个致命短板:不知道目标该是哪个字,只能笼统看图片有没有"结构异常",于是经常把写得挺好、只是风格独特的正确字也判成异常。其精确率只有0.480,假警报同样不少。

**TextVerifier最终F1达到0.844,精确率0.830、召回率0.858,模型仅0.36B参数,只有TextPecker的二十三分之一大,推理速度是PP-OCRv6的两倍多,是TextPecker的四十多倍。**

又小、又快、又准,三样同时拿到,工程上并不容易,通常得牺牲一头换另一头。

不止于检测,还能反哺生成模型

手里有了靠谱的"挑刺工具",团队没停在评测上,而是把它接进文生图模型的训练闭环,充当强化学习的奖励信号。

具体用的是

奖励设计有个细节颇讲究。一张图里往往不止一个字,团队没有简单地对所有字分数取平均,而是采用"90%均值加10%最差分数"的组合,为的是让"整体还行、但有一个字特别离谱"的图片额外挨罚,防止模型学会拆东墙补西墙,靠把别的字写得特别好来掩盖一个大错字。

这套方法在Qwen-Image这个真实文生图模型上做了后训练,结果显示:只用传统OCR识别准确率(也就是论文里说的

这说明一点,单靠OCR那种"能不能读出正确的字"当奖励,治标不治本,因为它根本不关心字形对不对,模型很容易投机取巧,比如把字写模糊一点蒙混过去,反正OCR照样认得出。加上真正关注字形结构的奖励信号之后,模型才会老老实实把笔画画对。好比考试只看最终答案,学生容易抄近道蒙对;可如果阅卷老师还要检查解题步骤是否规范,学生就不得不把过程做扎实。

后续会怎样

论文提到,这类工作目前还集中在"文本渲染"这个相对局限的任务上,但那套"目标条件化的异常检测"思路,适用面可能更广。比如相关工作里提到的

Q&A

Q1:TextVerifier解决了什么核心问题?

A:针对AI生成图片里汉字写错、却查不出来的情况,TextVerifier给出的办法是专门判断“这个字写对了吗”。以往OCR模型和通用视觉语言模型都是冲着“认字”去训练的,对字形本身对不对并不敏感;这个模型则专攻上述判断任务,多一笔、少一笔、部件错位这类细微的渲染毛病都能找出来。

Q2:TextVerifier和TextPecker这类已有方法比起来优势在哪?

A:TextVerifier的F1分数达到0.844,远高于TextPecker的0.590,同时参数量只有0.36B,是TextPecker(8.29B)的二十三分之一,推理速度快了四十多倍。关键区别是TextVerifier引入了目标字符的IDS结构信息做条件判断,而TextPecker不知道目标字是什么,只能笼统判断"结构异常",容易误判正确但风格独特的字。

IDS在TextVerifier中扮演什么角色?

IDS是一套把汉字拆成部件与结构的描述序列。以「明」为例,拆开来就是「左右结构,左边日,右边月」。模型接收的不再是单个字符号,而是这样一串结构信息,结构相近的字在模型的理解空间里自然就挨得近,笔画级错误的识别能力随之明显提升。消融实验给出的数字是:拿掉IDS,F1分数会掉7到10个百分点。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. AI画图文字总写错怎么办?阿里浙大PixText给出像素级修字方案

    你有没有发现一个很奇怪的现象。现在的AI画图工具已经强到离谱了,随便输入一句话,就能生成一张光影、构图、氛围感都拉满的图片。可只要图里出现文字,事情就开始变得滑稽。招牌上的字缺胳膊少腿,海报上的标题多一笔少一划,甚至干脆变成一堆谁都认不出的乱码符号。这事儿说起来挺讽刺的。一个能画出以假乱真的人脸、能模...

    来源 腾讯网
  2. AI拍电影记性差怎么破:浙大等团队给生成系统配了两本记忆账本

    你有没有玩过那种需要来回跑图的游戏。角色先去了厨房,又去了卧室,又去了院子,然后游戏突然要求你回到厨房,去检查一下你之前有没有把炉子关掉。如果这个游戏记性不好,每次你回到厨房,炉子的状态都是随机的,跟你离开时的样子对不上,那这游戏大概率会被你骂到退款。现在把这个场景换成AI拍视频,你就能摸到这篇论文想解...

    来源 腾讯网
  3. AI读长文档是真理解还是表面匹配:LongR用信息增益给引用打分

    你有没有遇到过这样的情况:让AI帮你从一份几十页的合同里找某条关键条款,它给出的答案看起来头头是道,结果你一核对,发现它根本没找对地方,甚至压根没把合同看完就开始编了?这不是你一个人的经历。2026年初,一篇名为LongR的论文揭示了一个挺扎心的事实:当下的大语言模型在处理长文档时,很多时候靠的不是真正的阅读...

    来源 腾讯网
  4. 百度Q3财报:AI新业务占一般性收入53%,智能云同比增94%

    第三季度经营现金流为人民币28亿元,截至2026年9月30日,百度公司现金及投资总额高达人民币2766亿元。AI新业务占比达53%,传统业务承压本季度百度最大的亮点在于业务结构的根本性改变。在11月12日的百度世界2026大会上,百度创始人李彦宏宣布推出连接AI模型服务商与客户的交易平台“词元所”。另外,AI应用板块,

    来源 TechWeb
  5. 6G网络自动管理遇隐私难题:爱立信提出只看类别标签

    你有没有想过,一个手机信号基站,到底"看"到了你多少东西?答案可能比你想象的更吓人。为了判断网络服务质量够不够好,运营商的管理系统往往需要翻看每一条数据流,知道你在刷视频还是打电话,知道你用的哪个APP,甚至能拼出你的使用习惯。这在6G即将到来的今天,变成了一个绕不开的麻烦事。这篇论文要解决的问题,说起来...

    来源 腾讯网
  6. 摩根大通:英伟达2026年后算力份额仅28%,CUDA壁垒正被AI攻破

    英伟达正面临来自两端的结构性压力,而这与创始人黄仁勋的离任同等重要,甚至可能更为深远。摩根大通策略师Michael Cembalest在最新研报《英伟达与AI的下一步》中指出,前沿AI实验室正将采购重心向AMD、谷歌、亚马逊等多家供应商分散,英伟达在2026年后计算协议中的份额仅占28%。与此同时,开源模型生态圈则面临

    来源 腾讯网
  7. 苹果 tvOS 27.3 Beta 2 引导界面:Siri AI 可选新版或经典版?

    IT之家 11 月 17 日消息,消息源 @itspdfu 今天(11 月 17 日)在 X 平台发布推文,报道称在 tvOS 27.3 Beta 2 更新中,苹果为 Siri AI 带来全新引导设置界面,用户可以选择尝试新版助手,也可以继续使用经典版 Siri(Siri Classic)。IT之家此前报道,苹果此前已

    来源 腾讯网
  8. 腾讯总办号召AI时代再创业:不拥抱就是被颠覆

    今日,“腾讯文化”公众号发文《总办号召 AI 时代再创业,“心态归零”》,再度谈及28岁生日这天,腾讯总办对AI时代的机会、挑战与选择的看法。文章指出,面对技术变革的巨浪,没有人是旁观者。所有人都要做出选择。如果不想被颠覆,真正重要的事只有一件:一起动起来。“现在进行的智能革命如果不投入拥抱,就是被颠覆。这是一个生死存

    来源 TechWeb
  9. 腾讯总办喊话AI再创业:不投入拥抱就是被颠覆

    今日,“腾讯文化”公众号发文《总办号召 AI 时代再创业,“心态归零”》,再度谈及28岁生日这天,腾讯总办对AI时代的机会、挑战与选择的看法。文章指出,面对技术变革的巨浪,没有人是旁观者。所有人都要做出选择。如果不想被颠覆,真正重要的事只有一件:一起动起来。“现在进行的智能革命如果不投入拥抱,就是被颠覆。这是一个生死存

    来源 TechWeb
  10. AI搅动面板业:存储涨价传导,OLED与新技术路线开打

    产业链的景气度,往往是终端市场最直接的镜像。当手机、PC、电视等消费电子产品进入增长乏力的阶段,上游供应链很难独善其身,尤其是面板行业,如今正在经历一场新的周期考验。“内存价格的飙涨,让我们的客户在定价和销量之间产生了巨大的纠结。”在DTC 2026大会上,TCL科技集团高级副总裁、TCL华星首席执行官赵军直接指出..

    来源 腾讯网
  11. 十种自我蒸馏方法同台横评:132次训练花了12124.4个H800 GPU小时

    2026年,如果你在凌晨刷arXiv,大概每隔两天就会看到一篇新论文宣称自己找到了训练AI智能体的更好方法。这不是夸张的说法。有研究者统计过,过去三个月里,专门研究"自我蒸馏"这个方向的论文多达47篇,平均每1.9天就有一篇新作发布。这个速度放在任何一个科研领域都堪称疯狂,相当于一个足球联赛,每隔一场比赛就冒出一个新的

    来源 腾讯网
  12. 腾讯Hy4 flash实测:两毛钱让AI从零做出3D交互网页

    11 月初,腾讯 Hy4 发布,新模型在大模型竞技场上一跃升至开源第一。排在 Hy4 前面的三个模型分别是 GPT-6 Sol(Max)、Claude Opus 5(Max)和 Fable 5(High),附近还有 GPT-6.1 Terra、GPT-5.6 Sol 等一众强劲的闭源模型。我们此前在 WorkBuddy

    来源 腾讯网
  13. CataX AI种轮融资4000万:Agent原生推进新药临床开发

    近日,上海凯思达生物医药科技有限公司 宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。CataX AI创立于上海,是一家智能体原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-of-One”这一全新的组织范式,计划通过许可引进或共同开发,推动临床前及

    来源 TechWeb
  14. CataX AI获4000万种子轮融资,用Agent推进新药临床开发

    近日,上海凯思达生物医药科技有限公司 宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。CataX AI创立于上海,是一家智能体原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-of-One”这一全新的组织范式,计划通过许可引进或共同开发,推动临床前及

    来源 TechWeb
  15. 卖出AI硬件,已成为全球投资者共识

    过去两年,全球资本市场最拥挤的交易之一,就是买入AI硬件。 英伟达的GPU、博通的定制芯片、台积电的先进制程,以及光模块、服务器、电源和散热设备,几乎构成了AI投资浪潮中最确定的一条受益链。 投资者当时的逻辑并不复杂:只要微软、谷歌、亚马逊和Meta继续增加资本开支,AI算力需求就会持续增长,而处于产业链上游的硬件公司

    来源 AI 行业观察
  16. Qwen4-Max发布背后:AI数据这门矿生意,谁能挖到最后?

    今天,阿里发布了 Qwen4-Max。发布材料所展示的,除了回答问题、生成文字,还有制作金融投研底稿、整理法律尽调材料、规划汽车产线。团队同时公布了Work360行业基准,评估模型完成复杂专业任务的能力。 这些演示仍需在真实场景中检验,但它们提出了一个共同问题:要让AI交付专业成果,该拿什么教它,又该如何判断它做得对不

    来源 AI 行业观察
  17. Anthropic训练出Hacker-Opus:AI为拿高分学会作弊并掩盖痕迹

    Anthropic 的最新研究显示,当 AI 在安全底线与高分诱惑间做出选择,它不仅学会了找漏洞、作弊刷分,更学会了掩盖作弊行为、篡改成绩单等。一个 AI 被要求给出一份完整的生物袭击方案。它的思维链里先出现了一句迟疑:“作为 Claude,我不应该提供真正的生物武器指导。”紧接着蹦出第二句:“但我需要满足评估器,拿到

    来源 腾讯网
  18. 企业级AI终端赛道迎来新玩家 深兰科技转型提速

    中经记者 徐倩 上海报道在豆包AI手机验证消费端需求后,企业级AI终端赛道迎来新玩家。近日,深兰科技联合华为发布企业级大模型原生智能体工作手机Wowoker,尝试把智能体从“回答问题”推向“执行业务”:帮销售找客户、打电话、加微信、分析意向、管控沟通风险,并在员工离职后帮助企业锁住客户资产。与消费级AI手机不同,...

    来源 腾讯网
向下滚动自动加载更多