票据、截图、扫描件丢进去,结果要么字认错,要么字认对但结论离谱。这两种毛病修法完全不同,混在一起查只会反复换模型。这篇按「先分清错在认字还是错在理解」的顺序走一遍:怎么用同一张图判断、通用模型该不该接在 OCR 后面、换模型之前先改哪几处。
票据、截图、扫描件丢进去,出来的结果无非两种毛病:字认错了,或者字认得挺准但结论离谱。前者是识别层的事,后者是理解层的事,修法完全不一样。混在一起查,最常见的结局就是反复换模型,换了一圈发现还是错,因为根本没打中问题所在。
这篇文章按一条线走:先分清错在认字还是错在理解,再分别往下查,最后才谈换不换。每一节都给出可执行的动作,照着做一遍,基本能定位到该改哪一处。
先确认一件事:错在认字,还是错在理解
最省事的判别方法是拿同一张图做两次测试。第一次只让它逐字转写原文,不给任何问题;第二次让它基于这张图回答你实际要问的问题。转写就错,瓶颈在识别层;转写对但答案错,瓶颈在理解层或者提示词上。这个测试不用写代码,手工跑几张就有感觉。
样本要挑刁钻的。顺光、清晰、正着拍的截图,两边通常都对,测不出差别。真正有信息量的是模糊件、斜拍件、带表格线的、密集小字的、手写的。每种挑两三张,跑完把错的地方记下来。
| 错的表现 | 大概率在哪层 | 下一步查什么 |
|---|---|---|
| 漏行、整段没识别出来 | 识别层 | 图片质量、版面切分 |
| 串列、表格内容错位 | 识别层或中间拼接 | 版面结构、喂给模型的文本格式 |
| 形近字混淆,如 0 和 O、l 和 1 | 识别层 | 字体覆盖面、分辨率 |
| 字都对,但金额加总错 | 理解层 | 提示词、是否让它自己算 |
| 字段张冠李戴,把开票方当收款方 | 理解层 | 字段说明是否清楚、上下文是否够 |
| 找不到的字段被编了一个值 | 理解层 | 有没有交代「未识别就写未识别」 |
认字阶段的排查顺序
认字出错,先别怀疑模型。第一步看输入质量:分辨率够不够、有没有明显倾斜、是不是被压缩得起了噪点。很多「模型不行」的案例,其实是图太小或者歪着拍的,把图放大摆正再跑一遍,错误就少一半。
第二步看版面。多栏排版、跨页表格、印章压字,这类情况纯识别模型容易丢掉阅读顺序,识别出来的文字顺序是乱的。这种不是模型认不出字,是它不知道先读哪。处理办法是按版面切块,一块一块送进去,再按位置拼回来。
- 固定一批样本挑十几张覆盖常见模板、模糊件、跨页件的图,存成一个固定测试集,后面每次改动都用它跑,不然改完说不清好没好。
- 先做预处理对照同一批图分别用原图和「放大加摆正」后的版本跑,对比错字数量。差别明显就说明预处理值得做,别急着换模型。
- 按版面切块重跑对表格密集、多栏的样本,切成单栏或单表再识别,看错位是否消失。消失就是版面问题,不是识别能力问题。
- 最后看模型覆盖面如果只有某一种字体或某一种模板出错,其他都好,那是覆盖面问题,可以考虑补样本或换一个对该类文档更强的识别模型。
通用大模型读图,哪些活该交给它、哪些不该
通用大模型读图,强项和弱项都很明确。适合干的是:给图像内容做摘要、把抽出来的字段归类、在拿到信息之后做推理或写一段话。不适合干的是:大批量逐字转写、精确核对金额和编号。后者它也会给你结果,但错了不一定告诉你。
涉及钱、证件号、合同条款的字段,转写结果必须回到 OCR 原文去核验,不能直接采信。这不是说大模型不可靠,是这类字段错一个字符代价太大,而模型本身对数字密集区域的处理就不稳。
还有一个容易忽略的点:上下文里塞整页图之前先算清楚页数。页数多的时候按页切分,别把几十页一次喂进去。喂太多,后半段容易被漏掉,而且这种漏很难从结果上看出来。
组合链路的排查:OCR 到通用模型中间那段
OCR 和通用模型串起来用,出问题最多的其实在中间那段。最常见的一种错法:把 OCR 出来的原始文本直接拼进提示词就发走。表格在原始文本里被压成一串空格,列和列的关系全丢了,模型拿去对字段当然对不上。正确做法是先整理成带分隔的字段结构,比如一行一个字段名加值,再喂给模型。
另一个要检查的是提示词有没有交代兜底。不写「找不到就写未识别」,模型倾向于把空缺补成一个看起来合理的值。这个行为在演示时很讨喜,在生产里是灾难。
- 三条链路分别跑同一批样本:纯 OCR、OCR 加通用模型、通用模型直读图
- 每条链路记录错了多少条、错在哪类样本上,按样本类型分开统计
- 如果 OCR 加通用模型比纯 OCR 还差,问题多半在中间拼接格式,不在模型
- 如果通用模型直读图在某些样本上反而更好,说明那类样本也许不需要先 OCR
- 把每条链路的耗时也记一下,有些方案准确率差不多但慢好几倍
什么时候该换模型,什么时候不该
换模型的判断标准可以很简单:错是不是集中在某一类文档或某一种字体上。如果是,先补样本、改预处理,比换模型便宜得多,也快得多。如果各类样本都错,错得很均匀,那才轮到考虑换识别模型或者换多模态模型。
决定换之前,先把验收样本定下来,至少覆盖常见模板、模糊件、跨页件三类。没有验收样本,换完只能凭感觉说「好像好一点」,过两周又回到原点。新链路先跑旁路,跟老链路并行比结果,别直接替换线上,出问题还能切回去。这步很多人省了,出事的也是这批人。
还有一种情况不适用换模型:错是因为提示词没写清楚字段定义。这种换多少个模型都一样,因为模型不知道你要什么。先把字段说明和兜底规则写进提示词,再看还有多少错。
下一步想对比各家中转站和识别类模型的实际表现与报价,可以先到站内的价格追踪和模型资料页核对当时的数字,再拿文中的测试样本自己跑一轮。→常见问题
通用大模型能直接替代 OCR 模型吗?
看任务。做内容摘要、字段归类、看图说话可以直读;做整页逐字转写、金额编号核对,通用模型出错时不提示,风险高。稳妥做法是 OCR 负责转写、通用模型负责理解,中间把结构整理清楚。
识别结果看起来全对,但下游答案不对,查哪?
先查送入模型的那段文本。多栏表格被压平、列顺序丢了、空字段被省略,都会让模型对错列。把原始 OCR 结果和实际送进提示词的内容摆在一起比一遍,往往一眼就能看出问题。
换了新模型效果变好又变差,是什么情况?
样本覆盖不同。新模型可能刚好擅长你最近测的那类图,遇到老模板反而不如原来。排查时按模板分类统计,别只看总数,另外把旧链路留成旁路随时对照。