你在做产品选型或者接接口,看到别人说 DeepSeek V3.2 很强,就想顺手拿它做图片问答、票据识别、图表解析。但文档翻来翻去没看到图片输入的口子,于是卡在这一步:它到底是不是多模态模型?这篇不谈跑分,只讲能力边界怎么判断、怎么在自己项目里验证,以及确认不支持图像时该往哪走。
你在做选型或者接接口,听说 DeepSeek V3.2 挺能打,就想顺手拿它做图片问答、票据识别、图表解析。结果翻文档翻半天,没找到传图片的口子,于是卡在这一步:它到底是不是多模态模型?
这篇不谈跑分,只讲能力边界怎么判断、怎么在自己项目里验证,以及确认吃不了图片之后任务该往哪走。结论先放这儿:判断一个模型是不是多模态,看的是接口收不收图片,不是看它代码写得多好。
先把「多模态」这个词拆开,别被宣传语带跑
「多模态」这词现在被用得很泛,同一句话在不同人嘴里指的不是一回事。你在群里看到有人说某模型「支持多模态」,先别激动,八成他只说了其中一种能力。
- 能读图
- 输入里可以带图片,模型能根据图像内容回答问题,这是大家最常说的那种
- 能出图
- 输出可以是图片,比如生成图、改图,跟读图完全是两条链路
- 图文混排
- 同一个上下文里文字和图片交替出现,模型能一起理解,比如「看这张表,再结合我下面这段话」
- 训练用过图文数据
- 训练阶段喂过图不等于推理时收图,这个最容易被拿来当宣传点
判断标准很朴素:看输入通道和输出通道。接口里有没有给图片留位置,输出里有没有图像字段。训练阶段用过什么数据,跟你调用时能不能传图片,是两码事。
另外还要看「混着用」这一层。能单独读一张图,不等于能在多轮对话里把图和文字交叉引用。很多场景真正需要的是后者,比如你传了张界面截图,然后说「把这个按钮挪到上面那行旁边」,这就考验图文混排。
站点上整理过一份多模态模型的归类清单,按能力档次分好了。你到 /multimodal 对照一下,看目标模型被归在哪一类,比翻各家文档快得多。
这里有个不适用的场景要提前说:如果你的需求只是「把图片当文字素材」,也就是先 OCR 成纯文本再喂给模型,那根本用不着多模态模型,纯文本模型完全够用,别为了这个概念多花钱。
三步自查:怎么确认一个模型到底收不收图片
网上说的都不算数,自己验一遍最稳。下面三步按顺序做,基本十分钟内能出结论。
- 第一步:看入参结构翻官方接口文档的请求体,图片通常以独立字段或者特殊内容块的形式出现,比如 content 数组里出现 image 类型。纯文本模型的请求体里不会留这种口子,只有一串纯文字字段。找不到这类字段,基本就可以判定不支持图片输入了。
- 第二步:实测一张图加一句话拿一张有明显内容的图,比如写着几个字的卡片,配一句「图里写了什么」发过去。纯文本模型收到的是你的文字描述,它只会顺着你的话往下编,编出来的内容跟图毫无关系。如果它答得含糊但看起来像那么回事,别急着信,换一张内容完全不同的图再试一次。
- 第三步:看返回和报错有的接口会直接报参数错误,比如不认识你多传的那个字段;有的会静默忽略。报错信息往往比文档直白,把原始返回完整打出来看,比只看 SDK 封装后的结果靠得住。
有个细节容易漏:有些模型名字里带 V、带版本后缀,但不同供应商的映射关系不一样。你在官方渠道测出来的结论,不一定能直接套到某个中转站上。涉及中转的,先去 /tools/verify 做一轮在线实测,别拿别人的结论直接用。
怎么判断它的边界:文本强不等于视觉强
这是最容易踩的坑。一个模型在代码、推理、长文本上表现好,和它能不能读图,是两条独立的工程链路,能力不会自动从一条迁移到另一条。
| 能力维度 | 解决什么问题 | 和视觉能力的关系 |
|---|---|---|
| 长上下文 | 一次塞进更多文字 | 无关,解决的是字数不是输入形式 |
| 推理与代码 | 逻辑链条、代码生成 | 无关,纯文本任务打得好不代表收图 |
| 多模态输入 | 接收图片、音频、视频 | 独立的工程链路,单独建设 |
| 多模态输出 | 生成图片等内容 | 和输入更是两回事,别混为一谈 |
所以判断边界的方法很简单:看官方规格里列了几条输入通道。只列文本通道,你就老老实实按纯文本用,别指望靠一段提示词绕过去。提示词改变的是模型怎么理解文字,变不出一个视觉编码器来。
什么时候这条判断不适用?如果供应商提供的是组合式产品,比如前端帮你把图 OCR 完再转发给文本模型,那从你调用方的视角看好像是「支持图片」,但底层其实是两段。这种要单独确认计费和错误处理方式,不能按原生多模态算。
需要真正图像理解的场景,先到 /multimodal 挑明确标注视觉输入的那一档,别在纯文本模型上耗时间。
常见的三个误判,以及它们分别会怎么坑你
下面三种误判,都是选型阶段的高频动作,代价从小到大排列。
- 误判一:把「听说过图片」当成「支持图片」。别人转述的二手信息,到你这里变成技术前提,上线后接口直接拒收,返工成本最高
- 误判二:用第三方中转的模型名去猜能力。中转站的模型映射不一定和官方一致,同一个名字背后可能是不同规格,先到 /tools/verify 实测
- 误判三:拿别人的演示效果当依据。演示环境可能调的是另一个模型,或者演示者自己在演示里做了预处理,你以为的「原生能力」其实是他手动补的
这三种误判的共同点是:都建立在「别人说的」而不是「自己验的」之上。验证成本其实很低,一张图加一句话的事,越早做越省事。
顺带说个隐蔽的坑:有的演示会让你传图,但其实前端先把图转成了文字描述,再发给纯文本模型。从你的角度看它「读懂了图」,实际上是前端帮它读的。想看穿这一点,传一张文字特别密集或者细节特别多的图,纯前端描述会明显丢信息,而真正的视觉模型能抓住细节。
如果结论是纯文本,也别灰心。把它用在你真正需要的文字任务上,图片那一环拆出去,整体效果反而更可控。
确认不支持图像之后,任务该怎么拆
确认吃不了图片,下一步不是换模型,而是拆任务。把「看图」和「读文字」分开,各交给擅长的组件,这条链路通常比硬等一个全能模型更早能上线。
| 任务类型 | 拆法 | 注意点 |
|---|---|---|
| 票据、表格、扫描件 | 先 OCR 或文档解析转成结构化文字,再交给文本模型理解归纳 | OCR 错误会一路传下去,要留人工复核口子 |
| 图表理解 | 必须交给真正的视觉模型,纯文本补不了这一环 | 图中的趋势、异常点靠文字描述会丢细节 |
| 界面截图、布局问题 | 同样归视觉模型处理 | 涉及坐标、相对位置的任务尤其明显 |
| 纯文字问答、摘要 | 直接交给文本模型 | 不用绕路,别为了「多模态」三个字硬拆 |
两段式的好处很实在:每一段都能单独换供应商。OCR 那家不行了换一家,文本模型贵了换一家,不用整体推翻重来。缺点是链路变长,出错点变多,所以每段之间要加日志。
拆分粒度按你的错误率要求定。对准确率敏感的场景,比如财务票据,别省那一步人工抽检;对体验类场景,可以先跑通再优化。
什么时候不适合拆?如果你的图片理解需求非常轻,比如只要判断「这张图里有没有人」,那用一个轻量视觉组件就够,不必上完整链路。
拆成两段之后,成本和延迟会怎么变
多一次调用就多一次延迟。两段式链路的总耗时通常明显高于单模型调用,交互式产品尤其要注意,用户等两秒和三秒的体感差很多。
计费口径也要看清楚。图片理解类接口有的按 token 算,有的按张算,还有的把图片折算成等效 token,口径不同,同样一批任务花销差挺多。具体数字到 /tools/model-cost-calculator 按你自己的量级估一遍,别拿别人的例子套。
延迟这块,先分清是模型慢还是网络慢。到 /tools/speed-test 量一下本地到接口的基线延迟,很多时候你以为是模型处理慢,其实是链路抖动。
还有个容易被忽略的成本:失败重试。两段链路任何一段挂了都要重跑,如果没做好幂等,重复计费就跑不掉。
上线前的一张检查清单
选型结论定了,接线之前把下面这几项过一遍,能省掉后面不少返工。
- 确认入参字段:接受的模态有哪些、图片格式和尺寸限制、单次最多几张
- 确认计费口径:按 token、按张还是按调用次数,超限怎么算
- 确认失败路径:图片超限、格式不支持时返回什么,降级方案是什么
- 确认替换成本:这家不支持的话,换一家要改多少代码、多少配置
- 确认数据流向:图片会不会被留存、用于训练,合规上要不要额外处理
清单里拿不准的项,到 /models 查模型库,或者到 /benchmarks 看测评口径,两处都能帮你把模糊的地方问具体。
判断一个模型能不能吃图,看的不是它有多聪明,是它的接口有没有给图片留位置。下一步如果你正卡在选型这一步,先去多模态清单页对一遍归类,再拿一张图做三步自查,十分钟内就能给出明确结论,不用再靠别人转述。→
常见问题
DeepSeek V3.2 到底能不能读图片?
按官方公开的接口规格,它的输入通道以文本为主,图像这类视觉输入不在标准调用范围内。想做图片问答,得走专门带视觉输入的模型。稳妥做法是自己拿一张图去试一次,看接口是拒收还是接受,别只信二手说法。
它训练时用过图文数据,是不是就算多模态?
不算。训练语料里出现图片和模型能接收图片是两件事。判断标准看接口能不能收图、能不能在同一上下文里混用图文,而不是看训练阶段用过什么数据。很多纯文本模型在预训练阶段也接触过多模态语料。
我用中转站,模型名一样是不是能力也一样?
不一定。中转站背后可能映射到别的模型或者量化版本,能力边界会变。选型前到站内中转站目录核对,再用在线实测跑一遍图片输入,确认它真的收图再往下做。
那图片理解的任务应该交给谁?
交给明确标注支持视觉输入的模型,站内多模态模型页有分类清单。如果只是从图片里抽文字,用轻量的 OCR 组件往往更快更便宜;如果需要理解布局和图表含义,就得用真正的视觉模型。
只看文字任务,选它合适吗?
纯文本场景下判断标准就回到常规那几项:长上下文、代码能力、调用成本、并发限制。这些和它是不是多模态没有关系,按你自己的任务去比,别因为「多模态」这个词多做无谓取舍。