统一评测口径
用同一套题目和评分方式对待不同来源的模型，减少各自报分数、口径不一致导致的比较困难。
价格官网未标价
平台—
归类大模型与开发平台
收录2026-10-12
复核2026-10-12
编辑评分
4.5 / 5
★★★★☆
MMBench编辑总结
MMBench 是一个用于评估多模态大模型的公开评测平台，由 OpenCompass 团队维护。它把开源模型、公共模型 API 以及私有模型放在同一套题目和指标下比较，给出总体得分以及 LR、AR、RR 等细分维度的结果，方便研究者和开发者横向对照不同模型的能力。它更像一个「评测口径 + 榜单展示」的组合，而不是训练或部署工具，因此适合做选型参考和论文对比。需要注意，评测题目与提交规则会随模型发展调整，同一分数在不同时间的可比性有限，不能当作模型能力的唯一结论。
MMBench是什么？
MMBench 是一个多模态大模型评测平台，由 OpenCompass 团队推出并维护。它面向的对象是做多模态方向的研究人员、模型开发者以及在多个模型之间做选型的工程团队，核心目的是提供一套统一的评测标准和公开的榜单展示，让不同来源的模型能在同一口径下比较。
平台接受三类提交：开源多模态模型、公共模型 API，以及私有模型。评测结果不只看一个总分，还拆成 LR、AR、RR 等细分指标，用来区分模型在不同能力维度上的差异，而不是简单给一个排名。
对研究者来说，它主要用来验证自己的模型在公开基准上的位置；对开发者来说，它更像一个选型参考，用来判断某个多模态模型在具体任务方向上是否够用；对团队来说，榜单和细分指标可以作为内部评估时的外部参照。
MMBench核心功能
接受三类提交
开源多模态模型、公共模型 API 和私有模型都可以提交评测，私有模型不需要公开权重也能拿到榜单结果。
细分指标
除总体得分外，还提供 LR、AR、RR 等分项结果，能看出模型在哪些能力维度上强、哪些维度上弱。
公开榜单对比
结果集中展示，可以直接横向对照多个多模态模型的位置，不用自己到处收集各家论文里的分数。
面向多模态任务
评测内容围绕图文理解类任务设计，覆盖感知、推理等方向，而不是纯文本模型的通用能力测试。
MMBench值不值得用？
如果你需要给一个多模态模型找外部参照，或者要在几个候选模型之间做取舍，MMBench 的公开榜单和细分指标能省掉大量自己收集、对齐口径的工作，值得作为参考之一。但它的定位是评测榜单，不提供训练、微调或部署能力，也不能替代你在自己业务数据上的实际验证。另外，榜单反映的是基准题目上的表现，和真实场景的差异需要自己判断；题目和提交规则会随领域发展调整，早期分数和现在的分数不宜直接对比。
建议选它的情况
- 在多个多模态模型之间做初步选型的开发者
- 需要公开基准结果来佐证模型能力的研究人员
- 想了解多模态方向当前水平分布的团队
不建议选它的情况
- 需要训练、微调或部署工具的人
- 只关心自己业务场景效果、不打算看公开基准的人
- 希望拿到一份长期不变、可直接跨年对比的固定排名的人
MMBench使用建议
入门先把路子走对
- 先看细分指标不要只看总体得分，先找到和自己任务最接近的分项，用它筛掉明显不合适的模型，再看总分排序。
- 确认模型来源类型榜单里同时有开源模型和 API 模型，权重是否公开、能不能自己部署，会影响你后续能不能真正用起来。
- 对照自己的数据把榜单里靠前的几个模型拿到自己的样本上跑一遍，基准排名只能用来缩小候选范围，不能直接决定选型。
进阶省时间也省钱
- 注意评测时间同一模型在不同时间提交的结果可能口径不同，做对比时尽量看同一批次的排名，避免新旧分数混着比。
- 私有模型先小范围试私有模型提交不需要公开权重，可以先拿一个内部版本跑一次，看细分指标是否能定位到具体的弱项再决定是否深入。
MMBench适合谁用？
多模态方向研究者
推荐需要把自己的模型放到公开基准上和其他工作比较，细分指标能帮助说明改进点具体落在哪个能力维度。
做模型选型的开发者
推荐在几个候选多模态模型之间拿不定主意时，可以先用榜单缩小范围，再在自己数据上验证。
只看总分排名的读者
有条件如果只想知道谁排第一、不看分项和任务类型，很容易选到在自己场景里并不合适的模型。
需要训练部署工具的人
不推荐这个平台只做评测和展示，不提供训练、微调、推理部署能力，这类需求要去别处找。
MMBench优点和缺点
优点
- 不同来源的模型在同一套题目和评分方式下比较，减少口径不一致的问题
- 开源模型、公共 API 和私有模型都能提交，覆盖面比只收开源权重的榜单广
- 除总分外还有 LR、AR、RR 等分项，能看出模型强在哪、弱在哪
- 结果集中展示，省去逐篇论文收集多模态模型分数的功夫
缺点
- 评测围绕公共基准题目，和具体业务场景的表现可能差距明显
- 题目与提交规则会随领域发展调整，跨时间对比分数要谨慎
- 只做评测和展示，不涉及训练、微调、部署等实际落地环节
- 榜单只能反映基准上的相对位置，不能替代自己数据上的验证
MMBench常见问题
MMBench 是做什么的？＋
它是一个多模态大模型的公开评测平台，用统一的题目和评分方式评测不同来源的模型，并把结果集中展示出来，方便横向对比。它本身不训练模型，也不提供部署能力，定位是评测标准加榜单展示。
什么样的模型可以提交评测？＋
平台接受三类：开源多模态模型、公共模型 API，以及私有模型。私有模型不需要公开权重也能提交，这一点对不方便开源的公司和研究团队比较友好。
它的评分只有总分吗？＋
不是。除总体得分外，还会给出 LR、AR、RR 等细分指标。这些分项的意义在于能区分模型在不同能力维度上的差异，而不是只给一个笼统的排名，做选型时建议优先看和自己任务相关的分项。
榜单排名靠前就一定适合我的场景吗？＋
不一定。榜单反映的是公共基准题目上的表现，你的业务数据分布、输入形式、语言和领域都可能不一样。比较稳妥的做法是先用榜单把候选范围缩小到几个模型，再拿自己的样本实测一轮。
为什么同一个模型在不同时间看到的分数不一样？＋
评测题目和提交规则会随着多模态领域的发展调整，模型本身也可能有新版本。做对比时尽量看同一批次的排名，避免把不同口径下的分数直接放在一起比较。
