OpenCompass Multi-modal Leaderboard

它是一个公开的多模态模型性能对照表，把不同来源的多模态模型拉到同一套评测集和评分规则下打分再排位。用途主要有两个：挑模型时先看谁在哪类任务上更强，做模型时用同样的口径找自己的短板。它提供的是一致口径下的相对比较，不是对你业务效果的承诺。

先明确你要做的事情属于哪一类任务，是识别图像内容、读文档图表，还是在此基础上做推理判断，然后去看对应分项而不是总分。其次把比较范围限定在规模和类型相近的模型之间。最后挑两三个候选，用自己业务里的真实样本做小规模人工核对，确认结论在你的场景里成立。

会。多模态模型更新频繁，新模型进榜、已有模型重新评测，都会让名次发生变化。所以看榜单最好记录下查看的时间点，把它当成某个时刻的快照来读，而不是一份长期有效的定论。如果隔了较长一段时间回看，建议重新确认排名而不是沿用旧印象。

关键差别在评测口径的统一性。厂商自报成绩往往挑选对自己有利的测试集和提示方式，横向比较时缺少共同基准。榜单把模型放进同一套题目、同一套打分流程，结果之间才具备可比性。另外这套评测体系开源，外部可以复现和提出质疑，不是只能接受的黑箱结论。

建议只作为初筛环节。榜单衡量的是通用评测集上的表现，而你实际关心的是模型在你的数据、你的语言、你的任务流程里跑得怎么样，这中间往往有明显差距。比较稳妥的做法是用榜单缩小候选范围，再让业务方用真实样本做验证，最后结合接入方式与支持情况综合决定。

可以把公开的评测流程当成一条自查基线：按同样口径跑自己的模型，定位差距是出现在基础感知、复杂推理还是稳定性上，比笼统看一个总分更有改进方向。同时也能借分项结果判断某个子任务当前的技术水位，据此决定是继续自研还是先用现成模型顶上。