模型对比检测实验结果分析

你打开一张模型对比评测结果表，两个模型分差很小，到底哪个更强？或者分差很大，但跟你自己上手的感觉完全对不上。问题往往不在模型，而在你读表的方式。这篇给一套从看表头到做复测的判断顺序，帮你在选型会上把话说清楚，也帮你知道哪些结论这张表根本撑不住。

你打开一张模型对比评测结果表，两个模型分差很小，到底哪个更强？或者分差很大，但跟你自己上手的感觉完全对不上。问题往往不在模型，而在你读表的方式。这篇给一套从看表头到做复测的判断顺序，帮你在选型会上把话说清楚，也帮你知道哪些结论这张表根本撑不住。

先把心态摆正：评测结果表是「一批特定题目、一套特定判分口径下的快照」，不是模型的能力上限。它擅长告诉你某个模型在某类任务上大概率稳定到什么水平，不擅长替你回答「换到我的业务输入上会怎样」。所以下面这套顺序，核心是把「表里的数字」翻译成「你能不能信」。

先看表头，别看分数

绝大多数误读都发生在看完分数就先下结论。正确顺序是倒过来的：先确认这张表测的是什么、怎么判的分、比了多少题。这三件事没搞清楚，后面的数字再好看也没法用。

• 测的是什么任务：是通用问答、代码、长文摘要还是多轮对话？任务类型不同，同一批模型的相对位置可能完全反过来。
• 用的是哪套判分方式：人工打分、模型判分还是精确匹配。判分口径一换，名次顺序就会变，别拿两套口径的表直接拼在一起比。
• 题量多少：几十道题的表只能当参考，题目少的时候，一两道题翻车就能让整体分数挪动一大截，更别提做采购决策。
• 对照组是谁：如果表里全是同一家或同一批渠道的模型，缺一个你熟悉的参照物，分数就没有锚点，很难和你的实际体验对齐。

这一节做完，你应该能回答一句话：这份实验是谁、用什么题、按什么规矩跑出来的。答不上来，就别往下解读分数。要到站内核对时，去 测评榜单库（/benchmarks/registry） 对一下这份实验用的是哪个榜单，它的题源和更新节奏直接影响可比性。

区分真差异和抖动

两个模型分差几个点，不代表 A 真比 B 强。模型推理本身带随机性，同一模型、同一套题重复跑，分数也会上下浮动。你要判断的是：这个分差有没有超过「同模型自己跑两次的波动范围」。

• 拿分差和「同一模型重复跑两次的波动」做对比，差距没超过波动范围，就不能说 A 比 B 强。
• 按子项拆开看。总榜接近但某一类任务拉开明显，这通常比总分更有参考价值，也更接近真实使用场景。
• 分清胜率型和均分型指标：胜率是两两对比得出，受对手池影响大；均分受题目难度分布影响大，两者不能混着解读。
• 什么情况下不适用：如果你的任务只落在一两个子项上，总榜名次基本可以忽略，直接看那个子项的原始输出更靠谱。

分数差距要先过「噪声」这道关，过不了就别拿去开会。

用自己的题复测一遍

表里的分数只能当筛选器，不能当判决书。最省钱也最靠谱的一步，是拿你自己的真实输入去复测。挑表里排前面的两三个，别贪多，重点是把变量控住。

1. 固定变量同一个提示词、同一组参数、同一批输入，逐个模型跑一遍，先在自己的延迟基线上比。参数不一致的对比等于白跑。
2. 盲评输出输出的差异要人看，不要只看谁答得长。让不了解排名的人盲评，或者做左右顺序对调的两次打分，避免知道牌子之后打分偏移。
3. 记录失败样例评测表不会告诉你模型在什么输入下崩，而这些崩法恰恰是你上线后最先撞上的。把崩掉的输入单独存档。
4. 回到口径确认先搞清楚一份结果是怎么被算出来的，再决定要不要信它。口径参考 评分规则（/tools/verify#scoring-rules） 和 探针原理（/tools/verify#probes）。

复测阶段最容易被忽略的是「谁在打分」。如果是自己团队看，建议至少两个人独立评，分歧大的样例单独拎出来讨论，而不是取平均糊过去。分歧本身就是信号：说明这类任务对模型输出很敏感，上线后更容易出问题。