很多团队卡在同一处：老板说「上个多模态」，可图像理解、OCR、语音转写、视频抽帧是四件不同的事，成本口径也完全不同。更麻烦的是，同一批任务在不同行业里的容错线差得很远，医疗和电商显然不能用一套标准。这篇不列排行榜，也不给绝对结论，而是按行业场景给出落地路径、能力与成本的权衡方法，以及动手前该核对哪些站内页面上的当期数字。
很多团队卡在同一处：老板说「上个多模态」，可图像理解、OCR 抽取、语音转写、视频抽帧理解其实是四件不同的事，模型要求不同、延迟容忍度不同、计费口径也完全不同。更麻烦的是，同一批任务在不同行业里的容错线差得很远，医疗和电商显然不能套一套标准。
这篇不列排行榜，也不给绝对结论，而是按行业场景给出落地路径、能力与成本的权衡方法，以及动手前该核对哪些站内页面上的当期数字。如果你只是想先摸清收录了哪些多模态能力，可以先去 /multimodal 看当期清单，再回到业务里挑任务。
先把「多模态」拆成四类活，别混在一个预算里
把「多模态」当成一个采购项，是选型会上最常见的误解。它至少包含四类任务：图像与文档理解、OCR 字段抽取、语音转写与合成、视频抽帧理解。这四类对模型的能力重心完全不同，前两类看版面与文字还原，第三类看口音和噪声鲁棒性，第四类还要额外处理时间轴，预算口径自然也分开算。
| 行业场景 | 主要任务类型 | 容错线 | 建议先做的验证 |
|---|---|---|---|
| 电商与跨境 | 图文一致性、商品图理解 | 中等，错一两条可人工兜 | 抽检图文是否错配 |
| 金融与财报 | 长文档、表格抽取 | 高，字段错要能追溯 | 比对字段级准确率 |
| 医疗与健康 | 图文对齐、报告抽取 | 极高，需留痕可审计 | 小样回溯与人工复核比例 |
| 客服与会议 | 语音转写、摘要 | 中等，错字可容忍 | 看专有名词与口音表现 |
| 内容与媒体 | 视频抽帧理解、打标 | 偏低，漏标可補 | 看长视频时间轴一致性 |
- 先判断任务是不是「看一眼就行」，还是要给出可审计的结构化结果——后者决定你必须做后处理校验，而不只是选模型；
- 按行业排优先级：电商与跨境看图文一致性，金融与财报看表格和长文档，医疗看图文对齐与留痕，客服与会议看语音链路；
- 内部叫法先统一，能力清单到 /multimodal 对照当期收录情况，再到 /ai-dict/category/application 把行业术语和任务名对齐；
- 同一预算里不要混搁四类任务的成本，否则你很难解释钱花在哪一类上。
能力与成本怎么权衡：三个口径，一次算清
比价时最容易犯的错，是拿单次单价相互比较。多模态任务的真实成本由三个口径叠出来：调用量、延迟要求、返工量。单次多少钱只是第一层，后面两层往往决定你最终花多少。
- 按调用量
- 单张图、单页文档、每分钟音频的单价不同，先把月度量换算成一条总账，再到 /tools/model-cost-calculator 按当期数字核算。
- 按延迟
- 实时对话、批量抽检、离线归档对吞吐要求差一个量级，先到 /tools/speed-test 量自己网络基线，再决定是否接受排队。
- 按返工
- 多模态输出通常需要人工复核，把复核人力折算进去，很多时候「贵一点但一次做对」反而更省。
反过来，如果任务本身有硬性合规要求——数据不出内网、结果必须留痕、供应商需支持私有化——那么成本比较要让位。不同通道的合规口径可到 /safety 对照当期说明，先筛掉不合规的，再在剩下的里面比价。
落地流程：从一条业务线的小样到上线
多模态项目翻车，多半不是模型不行，而是样本不对或后处理没做。下面这套流程按顺序走，每一步都能独立验证，出了问题也知道回哪一步查。
- 选一条业务线做小样挑一条有现成标注数据的业务线，准备几十到几百条真实样本，覆盖边界情况（模糊、多语言、手写、翻拍）。样本不到这个量级，测出来的差异基本是噪声。
- 并行对照两条通道同一批样本走两到三条通道，比对结构化结果的字段准确率，而不是整体「感觉不错」。字段级比对才能看出模型是漏抽还是抽错。
- 补后处理加字段级校验、置信度阈值、失败样本回流。这一步的工程量经常比接模型本身大，提前排期，不要留到上线前。
- 定回退规则主通道失败时切备用通道或转人工，触发线写进文档。别等出了事故才讨论谁兜底。
判断标准：如果一条业务线跑完一个月，人工复核比例没有下降，说明任务拆分或提示结构有问题，先回头改，不要急着换模型。换模型通常解决不了样本和流程本身的问题。
上线之后：口径留档与换代迁移
上线不是终点。多模态模型的能力边界变化快，今天的提示结构下个月可能就不适用，所以留档和回归测试是长期动作，不是一次性工程。
- 每次统计都记清版本与口径，没留档就没法解释为什么上个月准这个月不准；
- 把当期价格、限速、可用模型清单记成链接而不是快照，参考 /price-watch 和 /ai-nav/category/ai-model-platform 的当期页面；
- 换代前先做小样回归，重点看原来靠提示工程绕过去的坑是否复发——换模型的收益通常小于换模型带来的返工；
- 如果业务已强绑定某家通道的独有能力（特定语种语音、特定文档版式），迁移成本单独评估，不要按通用任务的经验拍脑袋。
横向对比与找人问的时候，带哪三个问题
不管是评估供应商，还是找同行打听，先问清楚三件事，基本就能判断对方是真跑过还是只看过演示。这三个问题也能帮你自己的选型会从「哪家强」落到「怎么用」。
- 第一个问题：这事你们用哪一类模型做的（图像理解、OCR、语音还是视频），别接受「多模态」这种笼统回答；
- 第二个问题：结构化结果的准确率怎么测的，样本多少、谁复核的；
- 第三个问题：出错的兜底路径是什么，人工介入的触发线在哪。
把这三问答全，再去看厂商与平台信息会更有效率。同类通道和平台资料可到 /providers 和 /multimodal 交叉比对，两者的口径不同，对照着看能发现一些单看一边看不出的问题。
下一步先把你们要做的任务归到四类里的某一类，再带着这份清单去核对当期数字：能力清单看 /multimodal，价格与限速看 /price-watch，延迟基线自己到 /tools/speed-test 测一遍。→常见问题
多模态大模型现在到底能用到什么程度，值不值得投入？
分任务看。文档与图表理解、标准版式 OCR 已经能进生产流程，但通常要配字段校验；语音转写成熟度高，实时对话受延迟影响大；视频理解多数场景还是抽帧加筛选的辅助角色。建议先用一条业务线的小样跑一个月，看人工复核比例是否下降，再决定扩不扩，别按演示效果拍预算。
多模态调用是不是一定比纯文本贵很多？
单价口径不同，不能直接比。图片和音频通常按张、按分钟或按等价 token 折算，把你的月度实际量代进 /tools/model-cost-calculator 才算得清。另外别漏掉返工和人工复核这部分，多模态任务的复核成本占比往往比纯文本高，算总账时容易低估。
从一家多模态通道换到另一家，主要注意什么？
三件事：一是原来靠提示工程绕过的坑会不会复发，要拿历史样本做回归；二是输出结构是否一致，字段对不上就要改后处理代码；三是计费口径是否可比，别只看单次单价。换之前把旧通道的口径和样本结果留档，否则没有基准可对比。具体当期价格与规格以站内页面为准。
