多模态模型有哪些

手上有个任务要模型看图、听声音或者同时处理视频加文字，翻了一圈发现全是聊天助手，不知道哪个真能吃图、哪个只能吃图不能出图。这篇不排名也不列死的型号清单，而是按「输入是什么、输出要什么」把多模态模型分成几类，讲清每类适合什么活、什么情况下不合适，最后给你一份自己核对规格和价格的顺序。

手上有个任务要模型看图、听声音，或者同时处理视频加文字，翻了一圈发现全是聊天助手，不知道哪个真能吃图、哪个只能吃图不能出图。这篇不排名，也不列死的型号清单，而是按「输入是什么、输出要什么」把多模态模型分成几类，讲清每类适合什么活、什么情况下不合适。

判断逻辑其实很简单：先卡死你最终要拿到什么形态的产物，再回头看输入能不能喂进去，最后才是比效果和成本。大多数人卡住不是因为模型不行，是一开始就没把「输入输出组合」这件事拆开想。先把站内的 /multimodal 页面收藏一下，后面的核对都围绕它。

先搞清多模态到底指哪几件事

多模态不是一个模型的本事，而是一组能力的合称。按输入输出拆维度，图进文出、文进图出、音进文出、文进音出、视频进出，组合不同就是不同形态的模型，彼此之间不能互相替代。想清楚你要的是哪一种，比记哪个名字重要得多。

• 图进文出：读图表、认截图文字、看发票，输出是文字结论
• 文进图出：生成图、改图、按参考图重绘，输出是图片文件
• 音进文出：语音转写、会议记录，输出是文本
• 文进音出：配音、朗读，输出是音频文件
• 视频进出：抽帧加语音转写拼起来送进模型，输出通常是文字摘要
• 只吃文字的模型如果任务里带图，都得先多一步转换，这一步的误差经常比模型本身差距还大

还有一点常被忽略：多数产品是一套模型分工，聊天的和生图的往往不是同一个底子。你在这条线上觉得好用，不代表换个输出形态一样靠谱。想先建立概念，可到 /ai-dict/category/basics 与 /ai-dict/category/tech 过一遍术语对照，把输入输出的说法统一一下。

图文这一档：看图的和画图的别混在一起

图文档最容易踩的坑，就是把「能看懂图」和「能画出来」当成同一件事。前者属于图进文出，后者是文进图出，训练目标和评测方式差很远。挑的时候分开挑，别因为聊天好用就默认它的生图也够用。

验证方法很直接：拿你手上最难看的三五份素材跑一遍，别只用官方那几张示例图。横向评测结论可以参考 /benchmarks 里图表识别的相关条目，工具目录到 /ai-nav/category/ai-image 与 /ai-nav/category/ai-image-edit 逐个看说明。

语音与视频：计费和延迟比效果更容易踩坑

语音分两条线：语音转文字和文字转语音。前者通常按音频时长计费，后者按字符或字符折算，口径完全不同。你拿两个报价直接比，很容易得出错误结论。先统一到「一分钟音频」「一千字文本」这类同一个口径，再谈贵不贵。

1. 第一步 分清是转写还是合成录音整理、会议记录属于转写；配音、朗读属于合成。两边选型逻辑不一样，别用同一套标准评判。
2. 第二步 确认输入限制单文件多大、支持哪些格式、一次能传多长音频、有没有并发上限。超了就得先切分，切分点的处理会影响准确率。
3. 第三步 看延迟而非只看效果实时对话场景里，首包延迟往往比识别准确率更影响体验。排队和链路往返把体验拖垮的情况很常见，实测时掐表记录。
4. 第四步 核对计费口径按分钟、按字符、按次，各不相同。到 /voice-billing-units 对照统一算法，别被表面数字带偏。

视频理解大多是抽帧加语音转写拼起来送进模型，所以模型名一样不代表处理链路一样。抽帧频率、转写用的是哪家、时间戳怎么对齐，这三件事决定了最终效果。语音方案挑选到 /ai-nav/category/ai-voice 看分类，接口级差异可翻 /official-api/providers/deepgram 与 /official-api/providers/cartesia 的说明页。什么情况下不适用这套：如果你的视频只是单纯要字幕，那只需要转写一条链路，硬上视频理解模型纯属浪费。

按任务挑的四步顺序

前面讲的是分类，这一节给一条能照着走的顺序。核心原则是从输出倒推输入，而不是从模型名字出发。顺序错了，后面每一步都在补窟窿。

• 第一步 确定输出形态：要文字结论、要图片、要音频文件，先卡死这一条，能砍掉一半候选
• 第二步 确认输入能喂进去：格式、单文件大小、一次能带几张图或多少分钟音频，超出就得先切分
• 第三步 看成本算法：按 token、按张数、按分钟各不相同，用 /tools/model-cost-calculator 和 /tools/token-price-calculator 换算成同一个口径再比
• 第四步 做小样本试跑：拿你手上最难看的那十份素材跑一遍，能过再谈接入

这里要强调第四步的必要性。官方示例图都是挑过的，看不出差别；等你接完上线才发现密集小字识别一塌糊涂，返工成本比前期试跑高得多。另外，如果任务只是纯文本问答或简单分类，硬上多模态模型只多花钱，这时候按纯文本模型选型更划算——这是最常见的「不适用」场景。

定下来之前去站内核对这几页

规格和价格是会变的，别照抄别人的旧结论，也不要信任何写死的数字。正确做法是在你真正下单前，花十分钟把下面几页过一遍，用当时的页面数据做决定。

型号清单与是否支持多模态

到 /multimodal 和 /models 看当下收录情况，以页面为准

价格与计费单位

到 /official-api 与 /inference 对照，图片和音频的计价方式常在说明里单独写

使用量与真实表现

到 /usage 与 /benchmarks 看别人实际怎么用，注意榜单题目和你的任务未必对口

榜单读法

读法参考 /guides 里关于榜单解读的说明，别只看头部名次

成本换算

到 /tools/model-cost-calculator 把你自己的用量代进去算一遍

再补一条判断标准：如果某个模型你在 /multimodal 页面找不到它标注支持你要的输入形态，就别赌它能跑，直接换候选。文档没写清楚的地方，去 /api-check 一类的自查工具跑个最小请求，比看说明快。什么时候不用这么折腾：只是临时验证想法、量很小的时候，挑一个支持面最宽的先用起来，等有量了再优化成本。

先定输出形态，再验输入限制，最后才比效果和价钱——顺序反了，后面全是补窟窿。