人工审查选题
题目在纳入基准前经过人工逐条筛选，剔除依赖常识猜测、题目本身有歧义或过于简单的样本，让留下来的题更依赖真实的图像理解能力。
MMStar
AI TOOL PROFILE工具资料面向大型视觉语言模型的人工审查基准测试集，专门识别数据泄露带来的虚高得分。
价格官网未标价
平台—
归类大模型与开发平台
收录2026-10-11
复核2026-10-11
编辑评分
4.3 / 5
★★★★☆
MMStar编辑总结
MMStar 是一个用于评估大型视觉语言模型的基准测试集，由研究者构建，核心思路是先用人工逐题审查筛掉训练数据里可能已经出现过的样本，再让模型在剩下真正「没见过」的题目上作答。它面向做多模态大模型评测的研究者与工程团队，用来在图文理解类任务上得到更可信的横向对比结果。相比直接使用公开数据集，MMStar 更强调题目质量与去污染，但覆盖面集中在视觉语言理解，语音或纯文本任务。
MMStar是什么？
MMStar 是一个精英化的视觉语言模型评测基准，定位是给多模态大模型做一次「干净」的能力体检。它由研究者构建并公开在项目主页上，使用者主要是训练或评测大型视觉语言模型的团队，以及需要横向比较不同模型图文理解能力的研究者。
它的关键设计是人工审查。公开的多模态数据集常常已经被收录进大模型的预训练语料，模型「答对」可能只是记住了答案，而不是真的理解了图片。MMStar 在选题阶段就由人工逐题把关，过滤掉过于简单、依赖常识猜测或可能已被模型见过的题目，保留下来的是需要真正结合图像信息才能作答的样本，因此更适合用来判断模型是否具备细粒度的视觉理解能力。
使用上，研究者把 MMStar 当作一套标准题单：模型在统一题目上作答，再按准确率等指标横向对比。它通常不是训练用的数据，而是评测环节的尺子。对个人学习者和产品团队而言，它更多是理解「多模态评测为什么要做去污染」的一个参考样本，而不是日常直接使用的工具。
MMStar核心功能
缓解数据泄露
针对公开多模态数据集容易被大模型预训练语料收录的问题，从题目层面降低「模型见过原题」的概率，让得分更接近真实能力而非记忆。
聚焦视觉语言理解
题目围绕图像与文本的联合理解展开，覆盖细粒度识别、场景推理等方向，边界清晰。
统一横向对比
所有模型在同一套题单与同一套评分口径下作答，便于研究者在论文或评测报告中直接比较不同视觉语言模型的表现差异。
公开可复现
题目与评测方式对外公开，研究者可以按相同流程复现结果，也便于后续在此基础上做题目扩充或方法改进。
MMStar使用建议
入门先把路子走对
- 先读评测说明打开项目主页后先看评测协议与题目组织方式，搞清楚输入格式和评分口径，再决定怎么把你的模型接进去，避免题目喂错导致结果失真。
- 固定推理配置评测时把提示词模板、图片分辨率和解码参数统一固定下来，换个配置就换一套分数，横向对比会失去意义。
- 先跑小样本正式全量评测前先抽一小部分题跑通流程，确认模型输出能被正确解析和判分，再放开整批跑，省掉返工时间。
进阶省时间也省钱
- 做错题归类不要只看总分，把答错的题按题型归类，能看出模型是弱在细节识别、空间关系还是推理链，这比一个百分数更有指导意义。
- 多基准交叉看把 MMStar 的结果和其他多模态评测放在一起看，单一基准的排名容易波动，多把尺子交叉才能判断能力是否真的提升。
- 留意自身污染如果你自己的模型训练语料里已经混入过这套题，分数会虚高；评测前先自查训练数据，否则结果参考价值有限。
MMStar适合谁用？
多模态研究者
推荐在写论文或做模型对比实验时需要一套去污染程度较高的评测题单，MMStar 的人工审查选题正好满足这个需求。
模型评测工程师
推荐负责给视觉语言模型搭评测流水线，可以把 MMStar 作为图像理解方向的固定一环，配合其他基准一起出报告。
通用产品团队
有条件如果只想快速判断一个多模态模型能不能上线做图文问答，直接用业务数据做小规模人工抽检往往比跑公开基准更贴近真实效果。
只做文本任务的使用者
不推荐MMStar 聚焦图像与文本的联合理解，纯文本场景下这套题目用不上，选它评测没有意义。
MMStar优点和缺点
优点
- 题目经过人工逐条审查，剔除了过于简单和依赖猜测的样本。
- 从选题层面应对公开数据集被预训练语料收录导致的分数虚高。
- 评测协议与题目公开，结果可以复现，也便于他人复核。
- 题型集中考察图像与文本的联合理解，能力维度指向明确。
- 统一题单下不同模型可横向对比，适合写进评测报告。
缺点
- 只覆盖视觉语言理解，生成、语音和纯文本能力不在评测范围内。
- 题目总量有限，细分子能力上的排名波动会比较明显。
- 评测结果依赖提示词与推理配置，换套参数分数就不可直接比较。
- 若模型训练语料已混入这套题，分数仍会偏高，需要自行排查。
- 作为评测集而非训练集，日常产品开发中用到的频率不高。
MMStar常见问题
MMStar 是拿来训练模型的数据集吗？＋
不是。它的定位是评测基准，题目用于给已经训练好的视觉语言模型做能力体检，测完在统一口径下比较分数。用它去训练模型会削弱它作为评测尺子的价值，因为它本身正是为了识别「模型是不是见过这些题」而设计的。
它和普通的多模态数据集比，特别在哪里？＋
关键差别在选题环节。公开的多模态数据集往往已经被收进大模型的预训练语料，模型答对可能只是记住了答案。MMStar 在纳入题目之前由人工逐条审查，去掉过于简单、有歧义或靠常识就能猜对的样本，留下更依赖真实图像理解的题，测出来的分数更接近能力本身。
跑出来的分数能直接用来做模型排名吗？＋
可以作为参考，但不宜当作唯一依据。分数会受提示词模板、图片分辨率和解码参数影响，换套配置就不一定可比；题目总量也有限，细分方向上的名次容易波动。稳妥的做法是固定一套评测配置，再结合其他多模态基准交叉验证。
怎么用 MMStar 评测我自己的模型？＋
先从项目主页拿到题目与评测说明，按说明把图片和问题组织成模型接受的输入格式，统一推理参数后批量跑一遍，再按官方口径判分统计。正式全量跑之前建议先抽一小部分题验证输出能被正确解析，避免整批跑完才发现格式不匹配。
评测结果比预期高，可能是哪里出了问题？＋
先排查训练语料是否已经混入过这套题，如果混入过，分数偏高是记忆而非理解。其次检查推理配置是否和对比实验一致，提示词、分辨率、解码参数不统一都会抬高分数。最后确认判分脚本是否按官方口径执行，宽松解析也会带来虚高。
MMStar竞品对比
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| MMStar本工具 | 4.3 | 未标价 | 人工审查选题；缓解数据泄露；聚焦视觉语言理解；统一横向对比 | — |
| FACTS Grounding | — | 未标价 | 用于评估大型语言模型事实性的最新基准 | Web / Kaggle |
| WebWalker | — | 未标价 | WebWalker 是一个用于评估大型语言模型在网页遍历能力上的基准测试框架 | — |
| MouSi | — | 未标价 | 多模态视觉语言模型 | — |
| DCLM-baseline | — | 未标价 | 高性能语言模型基准测试数据集 | — |
| POINTS-Qwen-2-5-7B-Chat | — | 未标价 | 视觉语言模型的最新进展 | — |
