模型对比排名怎么排

打开一个模型排行榜，前几名和你在实际任务里的体感对不上，是榜单不准还是你没看懂它的口径？这篇不谈哪个模型强，只拆排行背后的题集来源、打分方式和排序权重，让你看到任何一张榜都能先判断它排的是哪件事，再决定信几分。

打开一个模型排行榜，前排的名字和你在实际任务里的体感对不上，先别急着说榜单不准。多数情况下是榜单口径和你的用法不是一回事。排行本身不复杂：选一批题、给模型做、按某种规则打分、把分数排个序。麻烦在于这几步里每一步都藏着选择，选择不同，名次就不同。

这篇不判断谁强，只拆榜单背后的题集来源、打分方式和排序权重。看完你应该能做到：拿到任何一张榜，先判断它在排哪件事，再决定这张榜对你的选型有几分参考价值。

先看榜在比什么：能力、偏好还是成本

模型榜大致分三类，混在一起看最容易误判。能力榜考客观题，偏好榜让人或模型投票，成本榜按调用量和单价折算。同一个模型在三类榜上的位置可以完全不同，因为它擅长的东西不一样。看榜第一步不是看名次，是看它标题里的那个动词。

分数不是天上掉下来的，它由三件事决定：题目从哪来、答案怎么判、单题分数怎么合成一个总分。这三件事任何一件变了，名次都可能挪位置。所以看到一张榜，先找它的方法说明，找不到就默认它不可靠。

聚合这块最容易出问题。平均分制下，一个模型只要在某一科特别强，就能把总分抬上去，掩盖其他科拉胯；胜率制下，样本量小的时候，多赢一两场就能让名次跳好几位。看榜时顺手找一下它有没有给置信区间或样本量，没有的话，名次差距小就别太当真。

同一批模型在不同榜单上名次对不上，通常不是谁抄错了，而是下面几个因素在起作用。理解这些，你才能判断名次变化是模型真的变了，还是口径变了。

榜单的正确用法是缩小范围，不是做决定。顺序别倒过来：先按任务类型筛出相关的榜，再按成本档位缩范围，最后用自家真实样本跑一遍。很多人反过来，先看名次挑几个，再补评测集，结果发现挑出来的模型根本不适合自己的场景。

榜单是用来缩范围的，不是用来替你拍板的；真正决定选型的，是你自己那批样本。

榜单第一名是不是就一定最好用？

不一定。榜首通常意味着在该榜的题集和判分口径下得分最高，换一套题、换一个判分模型，名次就可能变。先确认这张榜排的是能力、偏好还是成本，再看它和你的任务是否同类，不满足这两个前提，第一名只能当候选，不能当结论。

开源模型和闭源模型放在一张榜里比，公平吗？

口径上要先看榜单有没有标注参数量和推理配置。同分情况下，一个几百亿参数的开源模型和一个不公开规模的服务端模型，成本结构完全不同，直接比名次意义有限。建议把开源、闭源拆成两组看名次，再做横向对照。

榜单更新之后名次变了，我要不要跟着换模型？

先查两件事：是模型本身换了权重版本，还是榜的题集与判分口径改了。前者值得重测，后者只需要重读结论。稳妥的做法是把新名次和自己手里已有的评测记录对一遍，确认差异落在哪个任务上，再决定要不要换，不要只看名次数字。