你大概遇到过这种场景:手里有一张截图、一段录音、一份扫描件,想直接丢给 AI,却发现有的能看懂、有的根本传不进去。问题不在模型聪明不聪明,而在它支持哪种输入类型。这篇按信息类型把多模态模型拆开讲,给出一个能自己判断的对照方法,顺便说清哪些情况下它并不适用。
你大概遇到过这种场景:手里有一张截图、一段录音、一份扫描件,想直接丢给 AI,却发现有的能看懂、有的根本传不进去。问题通常不在模型聪明不聪明,而在它支持哪种输入类型。同一个模型,你说一句话它能接,你发张图它可能直接报错。
这篇按信息类型把多模态模型拆开讲,给出一个能自己判断的对照方法,顺便说清哪些情况下它并不适用。看完你应该能回答一个问题:我手上这份材料,到底该不该走多模态。
什么叫「多模态」:先分清输入和输出
模态指信息的载体形式:文字、图片、音频、视频、结构化表格都算一种。一个模型能同时吃下两种以上,就叫多模态。但这里有个最常见的误解:能读图和能画图是两回事,一个管输入一个管输出,别混着理解。
| 能力方向 | 典型动作 | 容易踩的坑 |
|---|---|---|
| 输入侧(读) | 看懂图片、听懂语音、读 PDF | 以为支持读图就支持一切格式 |
| 输出侧(写) | 生成图片、生成语音、合成视频 | 拿只支持输入的多模态模型去要求它画图 |
| 双向 | 既能读图又能画图 | 同一模型名下不同版本支持范围不一样 |
- 先确认你要的是输入能力还是输出能力,再看模型卡上写的是哪一侧
- 同一个模型名下的不同版本,支持的模态可能不一样,别默认旗舰版能干的活小版本也能干
- 只有文字需求时,用纯文本模型就够了,为多模态多付的钱通常不值
- 判断入口:到 /multimodal 看每个模型标注的输入输出类型,再到 /official-api/providers/openai 这类厂商页核对图片视频模型的对照说明
最常见的两类:文字和图片
文字几乎是所有多模态模型的底座,图片是最普遍的第二种输入。截图、照片、图表、手写便签都能进去。真正的问题不在「能不能进」,而在「进去以后读得准不准」。
图片里最容易被高估的是小字和表格。图太糊、字太小、长边被平台压缩过,识别质量会肉眼可见地掉。你可以在同一张图上试一次原图和压缩图,对比结论往往比看说明文档更直接。
- 长文档别当图片硬塞:纯图片理解比先转文字再处理更贵也更不稳定
- 多页扫描件优先考虑先做 OCR 转文本,再交给模型做理解和归纳
- 一张图到底算多少成本,去 /image-token-billing 那类页面看当时的口径,别按张数估算
- 概念对齐可以走 /ai-dict/category/basics,先把 token、上下文这些词弄明白再谈多模态
音频和视频:能进,但门槛更高
音频通常走两条路:一条是直接理解,比如识别语气、情绪、环境音;另一条是先转写成文字再理解。后者更常见也更便宜,代价是丢掉语气和背景音这些信息。你要分清自己需要的是哪一类。
视频多数本质上是「抽帧 + 音频轨」的组合处理,不是整段连续理解。所以快节奏画面、长时间跨度、画面里一闪而过的细节,都容易漏。这不是模型不行,是处理方式决定的。
| 信息类型 | 常见处理方式 | 什么时候不适用 |
|---|---|---|
| 短语音 | 直接理解或先转写 | 需要严格逐字稿时可优先走转写 |
| 长录音 | 分段 + 转写后归纳 | 要求口型对齐、时间轴精确的场景 |
| 短视频 | 抽帧 + 音频轨 | 逐帧精确分析、高速运动画面 |
| 长视频 | 抽帧采样 + 摘要 | 连续动作追踪、跨小时事件关联 |
实时语音对话对延迟要求高,和离线转写不是一类需求,选型时别拿一个场景的结论套另一个场景。各家定位可以到 /voice 和 /official-api/providers/cartesia 看当时说明。
表格、PDF、代码这类「半结构化」输入
这一类最依赖前置清洗。OCR 识别错了,再强的模型也救不回来。PDF 里的双栏排版、页眉页脚、跨页表格,是干扰排名最靠前的几个来源。先转成干净的文本或图片再喂,效果通常好很多。
- 先看原始材料翻一遍你要处理的文件,找出手写、印章、双栏、表格跨页这几类难点,标出来。
- 做一次清洗用本地工具把 PDF 转文本或转图片,手动核对最脏的那一页。工具入口见 /tools。
- 跑最小样本拿一份真实材料跑一遍,重点看最难的那份能不能过,别用干净的样例做测试。
- 判断标准这份材料如果人看着都费劲,模型大概率也读不准,先修材料再谈换模型。
落到自己身上:三步判断你要不要多模态
很多新人是先被「多模态」这个词吸引,然后回头找场景。正确顺序反过来:先看手上有什么材料,再决定要不要多模态能力。
- 第一步列清单:你要处理的信息到底有几种类型,只有文字就别为多模态多花钱
- 第二步验最小样本:拿一份真实材料跑一遍,重点看最脏的那份能不能过
- 第三步看边界:涉密录音、客户资料、内部文档进模型前先过一遍数据边界,别只用「能不能识别」来判断
- 挑工具和平台时,把输入类型写进需求清单一起比,别只比价格;目录入口见 /ai-nav/category/ai-api 与 /models
不适用的情况也要说清:如果你要的是严格逐帧分析、口型与字幕精确对齐、或者材料本身清晰度极差,那多模态模型不是万能钥匙。先用传统工具把材料整理干净,往往比换一个更贵的模型更有效。
先看材料,再看模型。反过来的顺序,钱和时间都会白花。下一步把你要处理的材料类型列成清单,然后到模型库里按输入类型筛一遍,再拿最脏的样本实测。→
常见问题
多模态模型是不是什么文件都能丢进去?
不是。它支持的是特定几类输入,比如图片、音频、部分视频,而且每种都有格式、大小、时长的限制。能不能读某一类,要看具体模型和接口的说明,别按宣传语想当然。最稳的做法是拿你手上最典型的那份材料先跑一遍再决定。
只要模型支持图片,我是不是就不用 OCR 了?
看场景。清晰的截图、照片通常可以直接理解;扫描件、双栏 PDF、密密麻麻的表格,先做 OCR 和清洗反而更准也更省钱。判断方法很简单:你自己放大看都认不全的字,直接交给模型识别质量也不会好。
多模态和普通文本模型的成本差在哪?
图片、音频、视频这些输入要被转成模型能处理的单位,通常比同等长度的纯文字更占额度。具体差多少不看这篇的数字,去站内按 token 计费的说明页和价格页核对当时口径,再拿真实材料做一次小样本实测最靠谱。