多模态大模型现在主流有哪些

想上多模态，一搜全是「支持图片」四个字，真正要动手时才发现分不清谁擅长图里找字、谁擅长看图表、谁只是能收图但答不好。这篇不堆名单，而是先把多模态拆成输入、输出、能力侧重三层，再给一套从候选筛选到小样本实测的对照流程，让你在自己的任务上得出该用哪一类的结论。

想上多模态，一搜全是「支持图片」四个字，真正要动手时才发现分不清谁擅长图里找字、谁擅长看图表、谁只是能收图但答不好。这篇不堆名单，而是先把多模态拆成输入、输出、能力侧重三层，再给一套从候选筛选到小样本实测的对照流程，让你在自己的任务上得出该用哪一类的结论。

先说结论性的做法：不要按「哪家最强」来选，要按「你的输入长什么样、输出要什么格式、能不能出网」三件事来筛。筛完之后，拿二三十个自己业务的真实样本跑一遍，比看任何榜单都管用。下面按这个顺序展开。

先对齐口径：什么才算多模态模型

「多模态」这个词被用得很松，有人说能传图就算，有人说要能出图才算。选型前先把口径对齐，否则你会拿一个只能读图的模型去比一个能出视频的模型，比出来的结论没有意义。建议按两个维度拆：输入模态有哪些、输出模态有哪些，再看它是从训练阶段就混模态，还是视觉编码器加语言模型拼起来的。

输入模态

图、音、视频、文档扫描件，注意区分「单图」和「连续多帧」是两种难度

输出模态

文字、结构化字段、图片、音频、视频，输出越复杂评价标准越主观

原生多模态

训练阶段就混合模态数据，跨模态推理通常更自然

拼接式结构

视觉编码器接语言模型，能收图但擅长的活往往集中在识别和描述

还有一个容易被忽略的选项：纯文本模型加 OCR 前置流水线。如果你的任务只是把扫描件转成文字再抽取字段，这条路的稳定性和成本有时反而更好，因为它每一步都可控、可回归。反过来说，如果任务需要理解图的整体关系、需要结合上下文推理，这条流水线就撑不住了，硬拼会得到一堆彼此不连贯的片段。术语上拿不准的，去 /ai-dict/category/tech 和 /ai-dict 随手查一下，先统一说法再继续比。

当前主流系列怎么归类

与其记名字，不如记类别。市面上能叫得出名字的多模态模型，基本都能归进下面几类，每一类的取舍逻辑不一样。归类完了，你再去 /multimodal 和 /models 按当时的收录核对具体有谁在列、规格如何，不要凭记忆下结论，这个领域更新得快。

• 生成侧和「能读图」不要放在一张表里比，它们的评价维度根本不同。
• 同一家厂商可能同时有理解线和生成线，别默认它们能力可以互相替代。
• 中文材料为主时，标点、繁简混排、竖排文本这些细节值得单独测一轮。
• 授权方式是硬门槛，权重许可证和商用边界去 /safety 与相关条目核对，先卡掉不合规的再谈能力。
• 如果团队没人维护推理服务，开源权重那一类的实际成本会比看上去高。

能力侧重：同一句「多模态」其实是四类活

「支持图片」这句话底下藏着四种完全不同的任务，模型在这四类上的相对位置并不一致。选型时先把你的任务归到其中一类或几类，再去看对应能力。具体名次和分数到 /benchmarks 和 /rankings 看当时的评测口径，别拿一个综合分去决定一件很具体的事。

特别注意图表这一类：能把数字读出来，和能回答「哪一段增长最快」是两种能力。前者靠识别，后者靠推理，测试样本要分开设计。如果你的业务同时涉及识别和推理，建议在评分表里分成两栏，别混成一个总分，否则出问题时你分不清是识别错了还是推理错了。

把任务拆到「模型到底要做哪一步」这个粒度，选型才有得选；停在「多模态」三个字上，只能靠感觉。

候选筛选：从一堆名字收到三五个

1. 写清输入形态照片、扫描件、屏幕截图、图表、还是连续视频，逐项列出实际会遇到的形态和比例。这一条能砍掉大半候选，比如只做扫描件就没必要为视频能力付费。
2. 定输出要求只要一段文字，还是要结构化字段，还是要直接出图出音。结构化输出要额外确认格式稳定性和字段缺失时的行为。
3. 列硬约束能不能出内网、单次上下文能塞多长、要不要支持中文标点与繁简混排、有没有并发要求。硬约束不满足的直接淘汰，不要靠「应该差不多」硬撑。
4. 核授权与合规按授权方式再筛一遍，权重许可证、商用边界、数据留存策略去 /safety 与相关条目核对，这一步放在能力评估前面做。
5. 留下三到五个筛完剩三到五个就够跑实测了，太多反而比不动。把每个候选记一行：类别、约束是否满足、初步印象。

动手实测：一套 30 分钟能跑完的验证流程

到这一步不要再收集资料了，直接跑。关键是用自己的真实样本，公开 demo 图往往在训练数据里出现过，测出来的分数虚高，参考价值很低。样本量二十到三十个就够看出趋势，不用追求统计显著，你要的是判断方向。

• 准备 20 到 30 个自己业务的真实样本，覆盖正常情况和你会遇到的边界情况。
• 评分分三项：答对没有、输出格式对不对、边界情况下会不会崩或者胡编。别只记对错。
• 同一批样本跑两到三家，把分辨率、提示词、输出长度控制成一致，否则比的是参数不是模型。
• 记录失败样本的类型分布，而不是只记总分。失败集中在某一类，说明是任务不匹配而不是模型不行。
• 把每次调用的耗时记下来，接口延迟基线可以先用 /tools/speed-test 量一遍，多模态请求的耗时结构和纯文本差别很大。

如果实测结果出现「大部分样本都还行，但某一类几乎全错」，先别急着换模型，回去检查那一类样本的输入质量和你给的提示词，很可能是任务定义本身有歧义。评估这件事，把失败原因归类往往比换个模型重测更有收益。

成本与吞吐：多模态的账和纯文本不一样

多模态的计费逻辑和纯文本不同，最容易被低估的是图片部分：它通常按分辨率折算成 token 计量，同一张图缩放前后成本能差出数倍。这意味着前置压缩和尺寸规范不是优化项，而是决定预算能不能成立的前提。各家单价的实时数字到 /official-api 和 /tools/model-cost-calculator 按当时口径算，不要用旧记忆。

图片折算

按分辨率折算成 token 计，缩放策略直接影响单次成本

长文档加多图

上下文占用高，单请求成本和对并发的要求都要重算

两条路对比

多模态直接调，和 OCR 加纯文本模型，批量识别场景下要各算一遍单位成本

测算入口

容量和部署相关的估算在 /models/deploy，注意输入当时自己的分辨率和并发参数

什么情况下「OCR 加纯文本」反而更划算：输入格式高度统一、只需要抽取字段、不需要跨图推理，而且量大。什么情况下不适用：图与图之间有关系、需要结合版面位置判断、或者输出要求带推理过程，这时候拆流水线拼出来的结果会很脆。

想自己跑：先算显存再选模型

开源权重那一类如果打算自建，先算显存再挑模型，顺序反了容易白忙。视觉部分的显存开销和纯文本模型不同，参数量之外还要看支持的图片分辨率上限和并发批大小。按模型和量化方式估算显存与卡数的入口在 /compute/sizing 与 /compute/gpus，填进你自己会遇到的图片尺寸再算。

• 量化档位对图文任务的影响通常比纯文本更明显，小字识别和细粒度定位最容易掉点，必须单独回归测试。
• 图片分辨率上限是个硬参数，超过之后可能被静默缩放，识别准确率会掉，要提前验证。
• 并发批大小直接影响显存峰值，按业务峰值估而不是按平均值估。
• 标签上看不见的开销还有预处理和排队，实际吞吐要跑起来量，不要只看理论值。
• 别自建的三条：调用量小、模型换代快、团队没人维护推理服务。这三条占两条就优先用 API。

落地清单：定下来之前过一遍

最后是一份可以逐条打勾的清单。它不保证你选到最优解，但能保证你不会因为漏掉某一项而在上线后返工。过一遍，把没打勾的项记下来，能补的补，补不了的就当作已知风险写进方案里。

• 任务归类：明确属于识别、图表理解、视觉推理还是生成，四类分开评估，不混成一个总分。
• 口径固定：样本集、评分项、对比参数三样先固定，再开始跑，中途别改。
• 合规确认：授权方式、数据留存、输出能否商用，去 /safety 与相关条目逐项核对。
• 成本测算：按自己的图片尺寸和并发算一遍，数字到 /official-api 和 /tools/model-cost-calculator 核对当时的数值。
• 留退路：接口换代的迁移成本提前想好，本地部署至少保留一键切模型的能力。
• 记录结论：把失败样本类型和当时的判断依据写下来，下次换代时能省一整轮重测。