多模态模型的坑很少出在「模型不够聪明」,多半出在图片送进去的方式、你期待的粒度和实际返回的东西对不上。这篇不讲原理,只讲第一次接入时该按什么顺序试、看到什么现象该往哪查,以及哪些任务别硬塞给它。
多模态模型的坑很少出在「模型不够聪明」。接了十几个项目看下来,翻车的多半是同一批事:图片送进去的方式不对、你期待的粒度和它实际返回的东西对不上、结果错了又不知道往哪查。这篇不讲原理,只讲第一次接入该按什么顺序试,看到什么现象该先怀疑哪个环节。
先说个常见的误判。有人拿一张手机拍的发票丢给模型,要它把金额、日期、税号逐项抄出来,结果错了两处,结论是「这模型不行」。其实同一张图裁出金额那一小块单独再送一次,往往就对了。分辨率和压缩把那一行字糊掉了,模型不是不认识,是没看清。分清「看错」和「想错」,比换模型有用得多。
先把「图怎么进去的」搞清楚,再谈效果
同一个文件走网页上传和走接口,预处理往往不是一套逻辑。网页端为了展示快会先压一遍,接口端可能直接按长边缩放再转格式,两边送进模型的那张图其实已经不是同一张了。所以在网页上试得挺好,接进代码就变差,先别急着怀疑参数填错,去核对两次实际送进去的图长什么样。
分辨率这事儿也容易想反。不是越高越好。长边被塞到上限之后,细节反而被压掉,表格的细线、小字号、印章边角这些最先糊。反过来,一张特别小的截图放大送进去也没用,因为原始信息本来就没有。合适的做法是截取你真正关心的区域单独送一次,用局部清晰换整体尺寸。
PDF 还有一个额外环节:通常是先转成图再送进去。多页文档要先确认两件事,页数有没有上限,以及是逐页计费还是整份算一次。这两条不同平台差别不小,具体口径去 /price-watch 对照当时的说明。
哪些活它能干,哪些你其实在浪费钱
识别文字和解释图表是两件完全不同的事。前者要求精确复现字符,验收就看错没错、漏没漏;后者要求归纳趋势,验收看结论对不对、有没有瞎编。把这两类需求塞进同一个提示词里,往往两头都不满意。先想清楚你要的是抄下来还是讲明白,再决定怎么问。
文档里带公式、带合并单元格的表,是最容易翻车的类型。我的建议是先小批量试一页,别一次跑几百页再回头看结果。一页跑通了,再抽三到五页不同版式的验证,最后才放量。跨页拼信息的活更麻烦,先确认模型能不能同时看到多页,看不到就拆成一问一页,用你自己的代码去拼,反而更可控。
| 任务类型 | 判断标准 | 什么情况下不适用 |
|---|---|---|
| 文字抄录 | 逐字核对,错漏可数 | 字迹糊、手写体、遮挡严重时别硬上 |
| 图表解读 | 结论方向对、不编造数据点 | 需要精确读数并入库时改用专门方案 |
| 表单字段提取 | 字段齐全、格式统一 | 版式每周都变时维护成本会失控 |
| 跨页信息汇总 | 能否同时看多页决定拆不拆 | 页数多且强关联时先做小样本验证 |
第一次接入按这个顺序试,别一步到位
- 用一张干净的图跑通链路白底、正拍、字大、无旋转。只验证请求能发出去、能返回、返回结构里哪一段是正文。这一步别管准不准。
- 换成真实业务里最脏的那张图专挑反光、倾斜、带水印的那张。看它错在哪:是不认识字、看错位置,还是压根没提那一块。三种现象对应三种查法。
- 小批量加量并留档每次请求的图、提示词、返回原文全存下来。出问题时能直接比对,不用靠回忆复现。
- 定下重试和兜底规则识别失败重跑一遍很常见,批量任务要预留重试余量,同时想好失败几次之后转人工。
这个顺序的好处是每一步只动一个变量。链路没通就调提示词,等于同时改两个东西,出了问题也说不清是谁的锅。
提示词别只说「帮我看看这张图」
交代清楚要它输出什么形态,比堆形容词有用。是逐行抄下来,还是只给一句结论,还是按固定字段填一张表?这三种要求对应的返回结构完全不同。你只说「看看这张图」,它就会按自己的习惯给,十次里有几次格式不一样,下游解析就崩了。
再补一条容易被忽略的:告诉它不能出现什么。比如不要补全图片里没有的内容,看不清就写看不清,别猜。这条对票据、证件、说明书这类场景特别关键,因为模型很擅长把缺失的部分「顺」出来,看着合理,实际是编的。同一张图要反复问时,固定要求写在前半段,每次变的问题放后面,稳定性和成本都好控制一些。
- 要它抄,就明确「逐行、保留原始顺序、不要改写」
- 要它判断,就给判定口径,比如哪几种情况算不合格
- 不确定时允许它输出「无法判断」,比逼它给答案靠谱
- 字段多的时候给一个空白模板,让它照着填,别让它自由发挥
结果不对时,先分清是看错还是想错
文字错漏,多半是分辨率或压缩问题。验证方法很简单:把原图里出错的那一块裁出来单独送一次,如果这次对了,那就是图的问题,不是模型的问题。理解错、张冠李戴,通常是提示词没划清范围,或者这类图它见得太少。两种情况都排除之后,再考虑换模型。
还有个容易漏查的点:返回里有没有被截断。长文档多页一起送,输出可能在中途断掉,你看到的后半段缺失其实是长度限制,不是识别失败。先看返回结构里有没有截断标记,再判断内容对不对。
钱和额度是怎么被图片吃掉的
图片通常按换算后的量计费,长边大、页数多,账涨得比你想的快。具体的换算口径和当时的单价,去 /price-watch 核对,别凭印象估。估错的典型场景是拿一张小截图测出单次成本,然后乘真实页数,结果真实文档的图比测试图大一圈,账直接翻上去。
靠谱的做法是拿一页真实样本测出单页成本,再乘真实页数,再留一部分重试余量。批量任务尤其要留,识别失败重跑很常见,重跑也是要花钱的。另外可以先跑几十页看总消耗,再决定要不要全量上。
什么情况下别上多模态模型
要的是字段级精确提取、后续还要入库对账,专用 OCR 加规则更稳。多模态模型适合兜底,适合版式杂、规则写不过来的场景,但它不保证每次都给同一个答案。对账这种要求可复现的活,用它做主链路风险偏高。
图里信息很少、你其实只需要一句话结论的时候,也先想想是不是非得多模态。能用文字描述清楚的,纯文本模型可能更省也更快。对延迟敏感的场景同理,图片处理天然比纯文本慢,先测一遍再定要不要走这条路,别上线了才发现用户等不了。
这些判断不是绝对的。任务量小、人工复核能兜住的时候,多模态模型省下的开发时间可能比省下的钱更值。关键是想清楚你更怕哪一种成本:算错的成本,还是搭系统的成本。
多模态模型的成败,一半在送进去之前就定了。下一步想知道各家现在的计费口径和模型能力分布,去站内的价格追踪和模型资料库对照当时的数字,比凭感觉选省事。→
常见问题
多模态模型能直接读 PDF 吗?
多数情况下平台会先把 PDF 转成图片再送进模型,所以你看到的「读文档」其实是「看图」。页数上限、是否逐页计费、表格跨页怎么处理,都得先确认。建议先拿一份真实文档跑一页,看清返回结果再放量。
图片越清晰效果越好吗?
不一定。关键在送进模型前的缩放策略:长边被压到上限后,小字和细表格线最先糊掉。真正有用的做法是把关键区域裁出来单独送一次,而不是一味提高原图分辨率。
识别错了是模型不行吗?
先分两类:字抄错了,多半是分辨率或压缩问题;内容理解错了,多半是提示词没划清范围。两类都排除之后再换模型,否则换了也一样。
一张图大概花多少钱?
图片一般按换算后的用量计费,跟尺寸和页数直接相关。具体数字站内价格页一直在变,去 /tools/token-price-calculator 用你真实的图算一遍更靠谱,别拿别人的经验值套。
表格和图表该交给多模态模型还是专用工具?
要精确到每个格子、后续还要对账,专用 OCR 加规则更稳;要的是「这张图说明了什么趋势」,多模态模型更合适。两边都试一页真实样本再定,比看榜单准。