多模态模型排行榜

你要选一个能看图、能读表、能转写语音的模型，翻了几份排行榜，发现第一名各不相同，谁都说自己第一。问题不在模型，在榜单口径：题目不同、评分方式不同、模态不同。这篇不给你一个固定名次，而是给你一套读榜的流程——先确认榜单测的是什么，再看它跟你的任务像不像，最后自己去站内页面核对当时的数字。

你要选一个能看图、能读表、能转写语音的模型，翻了几份排行榜，发现第一名各不相同，谁都说自己第一。问题不在模型，在榜单口径：题目不同、评分方式不同、模态不同。这篇不给你一个固定名次，而是给你一套读榜的流程——先确认榜单测的是什么，再看它跟你的任务像不像，最后自己去站内页面核对当时的数字。

多模态模型排行榜本质上不是一张能力总表，而是「某个出题方在某个时间点、用某套题库和评分规则排出的一份快照」。看懂这一点，你才不会被一两个名次牵着走。下面按四步来：确认测什么、看数字怎么来的、按自己任务反查、绕开常见坑。

先搞清榜单到底在测哪种多模态

多模态是个大筐，图生文、文档理解、图表问答、语音转写、视频理解，这几类任务的分数根本不通用，一份榜单通常只覆盖其中一两类。你打开一份排行榜，先别急着看名次，先找三样东西：输入是什么模态、输出是什么模态、题目从哪来。三样缺一样，这份榜就没法跟别的榜横向比。

输入模态

模型吃到的是图、是 PDF 页、是音频波形，还是一段视频帧序列

输出模态

模型吐出来的是文字、坐标框、结构化表格，还是语音

题目来源

题目是公开数据集、出题方自建、还是从真实用户请求里抽的，决定了它像不像你的场景

还有一类容易忽略的情况：榜单里混排了纯文本模型。这时候多模态分数会被大量非多模态题稀释，排名看着热闹，参考价值反而下降；反过来，一个只测图片理解的榜，也别拿去当文本能力参考。不适用的情况也要说清——如果你的任务只在单一模态内，比如就是纯 OCR 取字，那多模态综合榜的名次跟你关系不大，直接看对应单项更省事。

同一个名次，为什么各家说法不一样

同一批模型，A 榜排第一、B 榜排第三，这事很常见。根源在分数口径。大致分三类：自动匹配标准答案、模型自评分、人工盲评。自动匹配最稳，但对开放题不友好；人工盲评贴合人类偏好，可成本和主观性都高；模型自评分波动最大，同一份输出换个评委模型结论就可能翻盘，自评分尤其容易虚高。

• 题目饱和是常见坑：某些题被刷到接近满分，分差只剩零点几，实际能力差别远没数字看着大
• 样本量决定可信度：样本小、只跑一轮的榜单，名次在中段基本可以视为并列
• 别只看一张截图传播的排名，去站内榜库对照出题方和口径，看清它测的是哪一类
• 凡涉及具体分数、名次、模型版本，都到 /rankings 看当时的数字，别用记忆里的旧名次下判断

从榜到选型：按任务反查，而不是按名次顺排

正确的顺序是反过来：先写清你的真实输入是什么——是手机截图、带合并单元格的 PDF 表格、手写便签，还是一段会议录音——然后去榜单里找同模态的单项分，而不是从总榜第一名往下顺排。任务和模态对不上，名次再高也用不上。

1. 写下输入清单把业务里真实会遇到的输入类型列出来，按出现频率排序，前两三类就是你要重点验证的
2. 找同模态单项到 /rankings 里锁定对应单项榜，记下两三个候选模型，别抄综合榜前十
3. 做小样本集从真实业务里挑十几到几十条样本，让候选模型各跑一遍，人工记录每类错误的分布
4. 对齐成本多模态输入按 token 或按图计费，分辨率越高越贵，去 /price-watch 核对当时的数字再决定

什么情况下不适用这套流程？样本极少的临时需求，比如就想找个模型把几张发票读成表格，那直接按现成榜单挑一个能用的就行，别为一次任务做完整评测。反过来，如果这个能力要长期嵌进产品、每天跑大量请求，那小样本集这一步省不掉，评测成本远比上线后返工便宜。

读榜容易踩的几个坑

第一个坑是把综合榜当能力总榜。多模态模型常常某几类特别强、某几类明显弱，总分中等不代表每一项都中等，甚至可能出现总分不突出、但恰好在你那一项上领先的情况。所以看榜时至少往下翻一层，看分项。

第二个坑是忽略版本与时点。模型迭代快，今天排在前面的，过一段时间就不是它了，所以凡是涉及具体版本和分数，都去站内页面核对当时的数字，别拿几个月前的印象当现在的事实。第三个坑是把对话体验当能力分——语气顺、回答长不等于识别准，测试时务必用有唯一正确答案的样本。

最后一条经验：别只看一家榜单。交叉两到三份不同出题方的结果，名次一致的部分才更可信；名次打架的部分，恰恰是你该自己动手测的地方，那也是你比榜单更懂自己业务的地方。

榜单告诉你别人怎么考，只有你的样本能告诉你，换到你的活上它到底行不行。