OpenCompass司南

OpenCompass 司南是一套大模型评测体系加公开榜单的组合。它由上海人工智能实验室相关团队维护，核心工作是设计覆盖知识、推理、语言、代码、长文本、安全等方向的中文与英文评测集，把参评模型放到同一套题目里跑，再按维度给出分数与排名，让研究者和开发者有一个相对统一的对照基准。

在形态上，它同时提供榜单页面和可复用的评测工具链。榜单页面面向想快速了解模型能力分布的读者，按学科与能力维度切分，可以看到各模型在不同方向上的强弱；工具链面向需要自己跑评测的团队，支持接入自有模型或已有接口，按配置好的数据集批量出分，便于把第三方结论和自测结果对齐。

不同角色用法不同。研究人员通常关注评测集的设计口径与各维度的细项得分，用来判断某个能力方向的技术进展；工程团队更多把它当作选型的前置筛选，先看榜单圈定候选模型，再用自己的业务数据做小规模验证；普通读者则适合把它当作了解模型能力差异的入口，但要注意榜单针对的是通用能力，不一定等于你的场景表现。

把它当成模型选型的前置筛选工具是合适的：先用榜单圈定几个在目标能力方向上表现靠前的候选，再用自己的业务数据做小规模验证，能省掉从零对比的时间。如果你的任务高度垂直、依赖特定领域知识或私有数据，榜单排名的参考价值会明显下降，因为评测集覆盖的是通用能力，不等于你的场景表现。另外要注意同一模型在不同维度上的排名可能差很多，只看总分容易选错方向。