多模态模型排名

你要做发票识别、报表解析或者带图的客服问答，搜「多模态模型排名」翻到一堆榜单，可看完还是不知道该选哪个——因为榜单测的和你手上的活往往不是一回事。这篇不给你一个固定名次，而是给你一套读排名、拆任务、做小样本验收的流程，最后能落到一个可替换、可回退的选型决定上。

做发票识别、报表解析或者带图的客服问答，搜「多模态模型排名」翻到一堆榜单，看完还是不知道该选哪个。原因很朴素：榜单测的和你手上的活往往不是一回事。这篇不给你一个固定名次，而是给你一套读排名、拆任务、做小样本验收的流程，最后能落到一个可替换、可回退的选型决定上。

先把预期摆正：排名是筛选的起点，不是终点。它帮你把候选从十几个缩到两三个，剩下的活必须靠你自己的样本说话。凡是跳过这一步直接照搬榜单第一名的，上线后大概率会在中文票据、手写体或者私有术语上翻车。

先承认一件事：排名不等于你该选的模型

多模态排名通常按综合任务打分，里面混了图像描述、常识问答、图表题、文档抽取好几类。而你的活往往只集中在某一两类，比如从扫描件里抠字段，或者认截图里的按钮位置。综合分接近的两个模型，在你的细分任务上差距可能很大，顺序也可能直接反过来。

• 可以直接参考的情况：你的任务类型和榜单题面高度重合，比如通用图片问答，且你对延迟与成本不敏感
• 要打折看的情况：你只用到榜单里的某一小类能力，综合分被其他题目拉高了
• 基本没法参考的情况：涉及中文票据、手写、特殊版式或行业私有术语，公开榜单几乎覆盖不到
• 还有一种情况容易被忽略：你要求结构化输出加坐标定位，而榜单只比了短答案，难度不在一个档位

一份多模态排名到底在测什么

读榜单先读口径，别急着看谁在前面。同样叫「多模态」，测的能力可能完全不同：图像描述、文档理解、图表问答、OCR 文字识别、多图推理，这几类的难度曲线不一样，对模型的要求也不一样。搞清楚测的是哪一种，再决定这份榜单和你有没有关系。

站内把这些资料做成了资料库，你可以先去 /multimodal 看整理好的多模态模型清单与规格，再到 /benchmarks 和 /benchmarks/registry 对照不同榜单的题目口径。注册表那页会把每个榜单测什么、怎么测列出来，比直接读某个模型的宣传页靠谱得多。

读榜单的三个动作，比记名次有用

1. 先找方法论说明看样本量、是否人工复核、有没有被刷榜污染的说明。口径写不清的榜单，直接按打折看，别把它的名次当结论用。
2. 看分差，不看位置前几名常常落在误差范围内。为了零点几分的差距折腾一次迁移，收益远小于风险。分差明显拉开再考虑。
3. 分清自测榜和第三方榜厂商自报的数据只当线索。识别水分的方法可以参照 /benchmarks/crowd-radar 和 /tools/verify#scoring-rules 里讲的思路，重点看有没有对照实验和失败案例分析。

还有一个习惯要养成：价格与规格随时在动，别把某个数字记死在脑子里或者复制进方案里。要提数据，就去 /official-api 和 /models 核对当时的口径，写进文档时也标注「以站内页面为准」。这样半年后回看，不会因为一个过期数字推翻整份选型结论。

把你的任务翻译成可比较的维度

榜单的维度和你任务的维度对不上，排名就没有意义。所以下一步是把你的活翻译成一张任务卡，再用硬线做第一轮淘汰。顺序很重要：先按硬线砍掉一批，再在剩下的里面比效果。反过来做，你会花大量时间在几个根本用不了的模型上做对比。

任务卡

一行写清输入形态，一行写清输出形态。输入是截图、扫描件、照片还是多页 PDF；输出是纯文本、结构化字段还是带位置的标注。

硬线

不可谈判的条件，通常三条：单张图的输入成本上限、可接受的首字延迟、数据是否必须不出内网。

软线

可以权衡的条件，比如准确率高一点但贵一点、或者快一点但偶尔漏字段。软线用来在候选之间排序。

• 把输入按难度分层：清晰的电子截图、倾斜的翻拍照片、低光环境、手写、复杂多栏表格，各占多少比例先估个数
• 把输出按严格度分层：只要求大意、要求固定字段、要求字段加坐标定位，这三种对模型的要求依次升高
• 确认是否有中文票据、行业术语、内部缩写这类私有效应，有的话公开榜单基本失效
• 把这三层写成任务卡，后面拿它对照每个候选模型的实际表现，而不是凭印象

其中成本硬线最容易算错。一张图按 token 怎么算、分辨率怎么影响账单，直接决定你能不能在那个价位上用。具体口径到 /official-api 对应厂商页确认，不要用别人表格里的旧数。

上线前的小样本验收怎么做

这是整篇最值钱的一步。公开榜单只能帮你缩小范围，最终决定必须来自你自己的数据。做法不复杂，抽一小批真实样本，覆盖典型难例，同一批样本跑两三个候选，人工只看分歧样本。这样比全量标注省力得多，结论却足够稳。

1. 抽样从真实业务数据里抽一小批，必须包含清晰、倾斜、低光、手写、复杂表格这几类难例。只用干净样本的验收等于没验收。
2. 同批对比同一批样本跑两到三个候选模型，用同一套提示词和同一套输出解析。变量只留模型这一个。
3. 只看分歧把几家的结果并排，人工只判断它们给出不同答案的那些样本。一致的样本可以跳过，省掉大半标注量。
4. 分类记录失败对错之外，单独记三类失败：拒答、格式错、字段缺失。这三类决定你后面要不要加校验层，以及加在哪一层。
5. 提前写标准跑之前就把验收线写好，比如达到什么程度就换、什么程度就留。跑完再定标准，人会被结果带着走。

效果过关之后，成本和延迟还有一关

效果达标不等于能用。图片理解通常按输入 token 计费，分辨率越高越贵，很多场景降采样一下就能在几乎不损失精度的情况下把成本压下来。这一步要实测，不要凭感觉，拿同一批验收样本分别跑原图和降采样后的图，看错的那几个是不是你能接受的。

需要私有化的团队尤其容易低估部署这一关。显存够不代表并发够，并发够不代表长图不炸。先用真实的长图和多图场景压一次，再谈上线。

选出来之后，怎么换、怎么退

多模态模型这个领域变化快，今天选的不一定半年后还是最优。所以选型时就要把「换」的成本算进去，而不是等到不得不换的那天再动。接口层做一层薄封装，把模型名、提示词、输出解析分开写，换模型时只改一处配置，其他代码不动。

• 保留一个降级方案：主模型超时或限流时切到备用，效果略差也好过整条链路挂掉
• 上线后按时段抽样复检，模型静默更新的情况真实存在，别只看上线那天的效果
• 许可证与商用边界会限制你能不能换，拿不准先过一眼 /ai-dict/category/safety 和厂商官方页的条款
• 把「什么情况下换」写成触发条件，比如连续几次抽样低于验收线，而不是靠临时感觉决定

排名帮你选起点，封装帮你留住退路。两样都做了，选型才算完整。