你手上有一批带图、带表、带扫描件的资料，想找个多模态模型自动处理，翻了几篇介绍发现全是名词堆砌，没人告诉你哪一步会卡住。这篇不评谁强谁弱，只给一条能自己走的判断链路：先分清任务属于哪一类，再对上该看的能力项，最后用站内页面核对当时的模型和价格数字。
你手上有一批带图、带表、带扫描件的资料，想找个多模态模型自动处理，翻了几篇介绍发现全是名词堆砌，没人告诉你哪一步会卡住。这篇不评谁强谁弱，只给一条能自己走的判断链路：先分清任务属于哪一类，再对上该看的能力项，最后用站内页面核对当时的模型和价格数字。
先说清楚这篇不干什么：不给你排座次，不替你选平台。它解决的是选型前的三个具体问题——这个任务到底属于多模态里的哪一层、哪一步最可能翻车、以及什么情况下干脆别用多模态模型。看完你应该能拿着自己的样本走完一轮判断，而不是继续刷评测文章。
发展脉络：能力是一层层叠上来的
别把多模态理解成「一个更聪明的模型」，它更像能力的逐层叠加：从只会输出文字，到能看懂单张图片，到能处理图表和文档版面，再到能接语音和视频。每一层解决的是不同的输入形态问题，不是同一件事做得更好。你只要定位自己需要哪一层就够了，不需要背时间线。
- 纯文本能力
- 输入和输出都是文字，多模态的地基，绝大多数任务绕不开它
- 图像理解
- 能接收图片输入并输出文字描述或结构化结果，是第一个真正的分水岭
- 图表与版面
- 能读懂坐标轴、数值、表格行列关系和多栏排版，难度明显高于普通图像理解
- 音视频输入
- 能处理带时间维度的连续输入，对吞吐和稳定性要求最高
判断一个模型属于哪一层，别只看宣传语。看它接受哪些输入格式、输出是什么形态就够了：只吃文字输出文字的是第一层，能吃图输出文字的是第二层，能把表格还原成结构化字段的是第三层。真正的坑在能力叠加的同时代价也在变——输入变复杂后单次请求的计算和计费口径都不一样，同一张图在不同平台可能按不同方式折算。这点要去 /official-api 和 /multimodal 对照当时的说明，别凭印象。
现实里的三个坎：精度、口径、稳定性
| 坎 | 容易踩的情况 | 先做什么验证 |
|---|---|---|
| 精度 | 拿干净样例试完就下结论 | 用自己最脏的样本跑一轮，看错误分布 |
| 计费口径 | 以为按张算，实际按别的方式折算 | 到站内对齐计费单位再谈成本 |
| 稳定性 | 同一张图多次调用结果不一致 | 重复调用同一批样本，统计波动范围 |
精度是分任务的。清晰扫描件的文字识别通常好办，手写、糊、倾斜、密集表格和跨页表格才是真正的分水岭。所以第一步不是挑模型，是挑样本：先拿自己最脏的那几张试，不要拿一份排版规整的样例下结论，那只能证明它认识干净字。
计费口径最容易踩坑。图片理解按什么单位计费、分辨率有没有影响、一张图折算多少，各家不一样。选型阶段就把口径对齐，比后期对账时才发现差异要省事得多。到 /official-api 和 /tools/token-price-calculator 看当时的换算方式。
不稳定比不准更麻烦。同一张图多次调用给出不同答案、长文档中途丢内容，这类问题在需要审计的场景要提前规划复核环节，而不是等上线后才发现。什么情况下这三点不那么要紧？只做粗筛、结果有人工二次确认的场景，精度和稳定性要求可以放宽，但计费口径仍然要看清。
应用方向：先看任务形状再挑模型
- 票据与表单录入输入是固定版式的扫描件，输出是结构化字段。重点验证字段命中和版面还原，别追求自由问答，那会把评估标准带偏。
- 图表与报告解析输入是带坐标轴和数值的图表，重点看数值读得准不准、趋势描述对不对。纯视觉模型容易把相近数字读串，必须拿真实图表测。
- 文档问答与知识库输入是长文档加提问，重点看跨页检索和引用定位。这类通常要和检索环节配合，不是单个模型能解决的，别指望换个模型就变好。
- 内容审核与素材初筛输入是图、音、视频的混合流，重点看吞吐和误判率。这类场景宁可多一道人工确认，也不要追求全自动。
还有三类任务，建议先别交给多模态模型：需要毫米级精度的测量、需要判断真伪的法律证据、涉及隐私不能出内网的素材。前两类是能力边界问题，第三类是合规问题，都不是换个更贵的模型能绕过去的。如果你的任务本质是纯文本抽取，多模态模型通常也没有优势，反而更慢更贵。
动手前的四步清单
- 第一步固定任务定义：写清输入格式、输出格式、可接受的错误类型，把「差不多就行」翻译成具体标准
- 第二步收集脏样本：从真实业务里挑 20-30 个最难的情况，包括糊的、斜的、缺页的，这是后面所有判断的依据
- 第三步对照站内页面：到 /multimodal 看当时的模型清单与能力标注，到 /models 查规格，到 /official-api 对齐计费单位，不要用印象里的数字
- 第四步留人工兜底：先按全量跑一轮统计错误分布，再决定哪些环节必须人工确认，别一上来就全自动
这四步里，第二步最容易被跳过，也最影响后面的结论。用干净样本跑出来的效果没有参考价值，因为真实业务里的输入永远是脏的。把最难的那批先挑出来，后面的模型对比才有意义。第三步要强调的是：站内页面的数字是会变的，任何写死的价格和排名都不该成为你的决策依据，用当时页面上的数字。
下一步把要处理的样本按上面四类任务归一下类，再去站内多模态页面核对当时的模型能力标注和计费口径，然后拿脏样本跑一轮小规模对比。→常见问题
我想让模型读一批扫描合同，是不是直接上多模态就行？
不一定。如果扫描件清晰、版式统一，专门的 OCR 环节加文本模型往往更稳也更便宜；多模态模型的优势在版面混乱、图文混排、需要理解语义的场合。建议先拿最脏的几份实测，对比字段命中率，再决定走哪条路。相关模型清单可以到 /multimodal 和 /ai-nav/category/ai-image 翻当时的目录。
多模态模型的成本怎么估才不离谱？
关键是把计费口径对齐：图片按什么单位算、分辨率有没有影响、长文档怎么切分，各家口径不同，直接比单价没意义。做法是拿你的真实样本跑一轮，统计单次请求实际消耗，再用 /tools/token-price-calculator 和 /official-api 的当时数据换算成钱，同时把重试和复核的人工算进去。
