CMMLU（中文综合基准）

CMMLU 是一套中文多学科知识与理解的评测集合，题目以选择题为主，覆盖自然科学、人文社科以及中文语境特有的制度、历史与生活常识。它针对的是中文环境下的知识掌握程度，而不是语言流畅度；与英文基准的机器翻译版相比，它的题干与选项本身就用中文表达，并且往往要依赖中文语境才能作答。

测什么能力

题目大多需要先理解题干再调用学科知识，覆盖从基础到专业课程的多个层级，既有记忆型题目，也有需要一两步推理的计算或判断。部分题目涉及中文特有的概念、称谓与表达方式，直接由英文题目翻译过来的基准很难覆盖。它测的是知识记忆与简单推理的混合能力，不能等同于中文写作或长文理解能力。由于是单选形式，模型也可能靠选项之间的排除法作答，这与真正调用知识并不相同。

怎么打分

• 准确率：以选项正确率为指标，通常分别报告各学科与总体，便于定位知识盲区。
• 提示方式：是否给示例、选项顺序与模板措辞都会影响成绩，跨报告比较时要确认设置一致。
• 随机基线：选择题的猜测基线不可忽略，题量较小的学科单项波动会比较大。
• 跨基准对照：与 C-Eval 等另一套中文综合基准对照，若结论差异明显，说明分数受题集特点影响较大。

与相邻概念的区别

它和中文语言理解类基准的区别在于考点：语言理解基准侧重阅读理解、指代与推理，答案往往能在给定材料里找到依据；CMMLU 更依赖模型自身储备的学科知识，题干之外没有可查材料。它和中文知识问答式评测的区别在输出形式：问答式要求生成答案，评分依赖匹配或裁判；选择题只需判别，噪声更小但更容易被猜测。它和英文综合知识基准的区别在于语境，翻译过来的题集无法替代。

看结果时注意什么

• 不等于中文能力全面：写作、长文理解与多轮对话需要另外评测，知识分数高不代表中文输出质量好。
• 警惕数据覆盖：题目公开已久，高分可能部分来自训练数据覆盖，最好结合新题或私有题集验证。
• 看学科分布：总体分数接近时，各学科强弱分布可能完全不同，对特定领域选型更有参考价值。
• 注意题型单一：选择题只能反映判别能力，无法体现开放式生成中的表达与组织能力。

使用时把它当作知识面的入门体检：分数适合用来发现明显短板与学科倾向，具体能力判断仍要结合目标任务上的实测结果，不要把总分当作中文能力的整体评级。跨报告比较时，还要注意题集版本与题目数量是否一致。