很多人看多模态模型的宣传时，会被「能看图、能听音、能出视频」这些说法带走，真拿去处理自家文档和截图时才发现对不上。这篇不讲参数故事，只讲范式上到底变了什么，以及你可以按哪几步亲手验证一个多模态模型是不是真能用，同时说清哪些活它其实干不了。
很多人看多模态模型的宣传，会被「能看图、能听音、能出视频」这类说法带走，真拿自家文档和截图去试，才发现对不上。问题往往不在模型差，而在没搞清范式上到底变了什么。这篇不讲参数故事，只讲判断标准：哪些活可以交给它，哪些别指望，以及你可以按哪几步亲手验证一个多模态模型是不是真能用。
先给一个能记住的分界：多模态不是「更强的文本模型」，而是把原来由你手写的转换层，搬进了模型内部。理解这一点，后面的取舍就顺了。
范式变在哪：从「读文字」到「直接吃原始素材」
传统流程是先把非文本做一层转换，OCR 出文字、ASR 出转写、文档解析出结构化字段，再把这些文本喂给模型。多模态是把图像、音频、视频帧这些原始信号直接送进模型，转换环节被合并进模型内部。这个变化看着只是管线少了几步，实际影响的是「丢掉了什么」。
- OCR 会丢版面和表格结构，一个跨列的单元格经常被读成两行；
- 语音转写会丢语气、停顿和说话人切换，而这些恰恰是判断对方态度的依据；
- 截图里的红框、批注、高亮，转成纯文字后基本全没了，可审核场景要看的正是这些；
- 反过来，模型仍是概率模型，跨模态对齐靠训练分布，训练里少见的组合照样会崩。
对你手上的活意味着什么：三类任务的分界线
把任务按输入类型和精度要求分三档，比笼统讨论「能不能用多模态」有用得多。下面这张表可以直接拿去对照你手上的需求，先归类再选方案。
| 任务类型 | 建议方案 | 判断依据 |
|---|---|---|
| 截图答疑、图文混排说明文档理解 | 多模态 | 版面本身就是信息，转文本会丢 |
| 需要看版面的内容审核、票据字段抽取 | 多模态 + 校验 | 字段少但错不得，要加规则兜底 |
| 大批量纯文字识别且要求逐字精准 | 传统 OCR 流水线 | 可复现、可对账，成本口径清楚 |
| 格式极其固定的票据、对延迟敏感的批量任务 | 传统流水线或规则引擎 | 多模态的额外开销换不来收益 |
| 从图里读刻度算差值、要精确坐标 | 不要用 | 概率模型给不出稳定数值 |
再明确一条：别指望多模态做精确数值计算和可复现的逐字输出。它适合「看个大概、给个判断」，不适合「必须每次一模一样」。什么情况下不适用？当你的下游程序依赖固定字段名、固定精度时，中间必须加一层校验或格式化。
上线前的验证顺序：先测输入，再测输出
- 先分清输入有几路纯图、图加文、音加图、视频，是四种不同能力。很多模型只覆盖其中一两路，把音频文件丢给只支持图像的接口会直接报错。先列清你的素材类型，再去 模型资料库（/models） 核对支持范围。
- 用真实素材做小样本对拍别用官方示例图。挑二三十份你自己的素材，同一份跑一遍纯文本方案和一遍多模态方案，比的不是谁更快，而是「错在哪一类」：是漏字段，还是读错版面，还是把批注当成正文。
- 检查输出能否被程序接手需要程序解析就要求结构化输出。模型爱加解释性文字、偶尔改字段名的话，后处理成本要提前算进去，别等上线才发现要写一堆容错。
- 失败样本单独存档多模态的坑通常是长尾的，单次跑通不代表稳。攒够一批失败样本，才能判断是提示词写得不好，还是已经碰到能力边界。
这四步做完，你手上会有一份自己的对照数据，比看任何榜单都靠得住。榜单看的是平均表现，你要的是自己那批素材上的表现，两者经常不一致。
成本与部署：按图片还是按 token，口径先对齐
- 图像折算 token
- 图片理解常按图像折算成 token 计费，分辨率越高折算越多，同一张图不同平台口径可能不同。
- 本地部署显存
- 多模态比同规模纯文本模型更吃显存，视觉编码器和输入分辨率都会推高占用。
- 延迟构成
- 多模态的响应时间不只是生成，还包含图像编码，单张图和大图的差别可能很明显。
接之前先对齐口径：去 官方 API 价格（/official-api） 看计费方式，再用 Token 单价换算（/tools/token-price-calculator） 把自己素材的实际用量折算一遍，别只看单价的表面数字。具体数额以站内页面当时的数字为准，这类信息变动频繁，写在文里很快就过期了。
如果只是偶尔看几张图，走 API 更省事；如果素材敏感不能出内网，再考虑本地部署。本地这边先看 部署测算（/models/deploy） 估显存和并发，两边的账要分开算，别把「API 便宜」和「本地可控」混成一个问题。
什么情况下这套范式不适用
多模态是杀鸡用牛刀的场景也很常见，认清边界比盲目上更省事。
- 任务本身高度确定、规则明确时，规则引擎或传统 CV 往往更稳更便宜，多模态的灵活度在这里用不上；
- 对可解释性和审计痕迹要求高的场景，比如必须给出「第几行第几列」的依据，多模态输出难追溯，得另配校验层；
- 数据量极小、又没有可微调的标注样本时，直接上多模态收益有限，先把流程跑通再谈能力升级；
- 单次调用要求极低延迟的在线场景，图像编码那一段开销可能直接卡住体验，得先压测再定。
判断方法很简单：把「必须精确」和「可以模糊」的部分分开。必须精确的留给规则或传统方案，可以模糊的交给多模态，中间用校验层衔接。这样即使模型偶尔出错，也不会一路错到下游。
想把这套判断落到具体选型上，可以先看站内整理的 指南中心（/guides），里面有按任务类型分的排查顺序，对着自己的场景走一遍，比凭印象决定快得多。
下一步拿你手上最典型的一批素材，按上面的四步验证顺序跑一轮，再去站内对照当时的计费口径和部署估算，就能得出自己的结论。→常见问题
多模态大模型是不是就是「能看图的大模型」？
不止。图像只是最常见的一路，音频、视频、文档版面都算模态。判断一个模型是不是真多模态，看它能不能在不经过外部转换的前提下直接吃这些输入，以及是不是同一个模型权重同时处理多路，而不是背后串了两三个模型。
多模态模型能不能替代 OCR？
分场景。版式复杂、手写、表格跨页这类 OCR 容易丢信息的地方，多模态常有优势；但要求逐字精准、大批量、格式固定时，OCR 加规则校验仍然更便宜也更可控。稳妥做法是拿你自己的样本对拍一轮再定，别按宣传语选。
想入门这个方向，该先补什么？
先补基础概念再谈多模态，不然术语会卡住你。可以从 基础概念词典（/ai-dict/category/basics） 把 token、上下文这些过一遍，再去 模型底层概念（/ai-dict/category/tech） 看编码器、对齐这类词，最后到 多模态模型（/multimodal） 页面看实际有哪些可选。
