开源模型排名

你打算用开源模型，先去搜排名，结果翻到一堆榜单：有的看对话胜率，有的看代码题，有的看人投票，同一批模型在不同榜里位置差挺多，反而更不敢选。这篇不替你选模型，只把榜单来源、口径差异和读榜动作讲清，让你自己判断哪张榜对自己的任务有参考价值，哪张只能当个热闹看。

你打算用开源模型，先去搜排名，结果翻到一堆榜单：有的看对话胜率，有的看代码题，有的看人投票，同一批模型在不同榜里位置差挺多，反而更不敢选。这篇不替你选模型，只把榜单来源、口径差异和读榜动作讲清，让你自己判断哪张榜对自己的任务有参考价值，哪张只能当个热闹看。

先把一个前提说清楚：排名是别人在别人的条件下测出来的结果，不是模型对你的承诺。所以读榜的正确姿势不是「看谁第一就下谁」，而是先弄清这张榜在测什么、用什么方式测、样本偏在哪，再决定它对你手上的活儿有没有参考价值。下面按来源、口径、收敛、误读四步走。

榜单从哪来：四类来源各自的立场

开源模型排名大致来自四个方向，立场完全不同。你看到的「第几名」只是结果，背后是谁在什么条件下测的，才是决定这张榜值不值得信的关键。下面这张表把四类来源的取向和适用边界摆在一起对照。

这张表里最容易被误用的是使用量榜：它反映的是流行度，不是能力强弱。上新节奏、免费额度、默认推荐位都会把名次顶上去，一家 5 人小团队因为默认配置多调了几次，也可能把一个平庸模型送进前排。要判断一张榜的底细，先到 /benchmarks/registry 看它的题目来源、样本规模和跑分条件，条件写得含糊的，直接降权处理。

读榜三步：先对齐口径，再对齐任务，最后对齐版本

口径差一点，名次就能挪一大截。零样本还是给几个示例、允不允许调用工具、采样几次取最好还是取平均，这几项一换，同一批模型的相对位置就会变。所以读榜第一步不是看谁高谁低，而是把这些设定抄下来，跟你自己的调用方式比对。

• 看口径：确认是零样本还是带示例、给不给工具、采样次数与聚合方式，设定不同的两张榜不能直接比名次
• 看任务：把榜单题目换成你真实的活儿，代码补全、结构化抽取、长文档问答、中文写作，各自的头部模型经常不是同一个
• 看版本与量化：榜单跑的是原版权重还是某档量化、是不是最新快照，差一档精度结论可能反过来，参考 model-name-version-suffix 那条思路去核对
• 不适用的情况：你要的是稳定性和延迟保证而不是峰值能力时，能力榜基本没用，该去 /inference 和 /usage 这类按实际表现排的页面看

第二步是把榜单任务对齐到你的任务。榜单上的高分题往往是通用对话和代码题，如果你的活儿是从一堆合同里抽字段、或者把中文长文压成结构化 JSON，那么通用榜的前排未必适合你。做法很简单：把榜单里的题型和你日常的输入类型列两列，对不上的行直接划掉。

从榜单到候选名单：一条可执行的收敛路径

榜单看懂了，接下来要收敛成一份你自己的候选名单。下面这条路径的目标不是选出「最好的模型」，而是把范围缩到你能真实测完的规模，再用小样本验证把结论钉死。

1. 圈候选用 /models 和 /rankings 圈出 5 到 8 个候选，别按名次取前几，按「授权能商用 + 参数量在你显存档位内 + 中文可用」三条硬条件过滤，不满足的直接删掉
2. 算成本用 /inference 比一下同档模型的调用价与可用性，开源不等于免费，托管推理的成本可能比你预期高，到 /price-watch 核对当时的数字再决定
3. 小样本对比挑 20 到 30 条你真实业务里的输入做对比，同一提示词、同一参数、同一评分标准，逐条记录通过与否，而不是只打一个印象分
4. 留档复盘把这几轮的输入、参数和结果记下来，下个季度新榜出来时你才有自己的基准线，不用从零重新猜

这里要说明一条不适用的情况：如果你的任务本身很主观，比如创意文案、对话语气，小样本打分意义有限，同一个人前后两次给的分都可能不一样。这种场景改成多人交叉盲评更靠谱，每人独立打分再取共识，别让一个分数决定选型。

几个常见误读，以及什么时候该干脆不看榜

读榜踩坑通常不是看不懂，而是看得太顺。下面几条是最常见的误读，最后一条尤其重要：有些情况下，看任何榜都不如自己跑一轮。

• 把总榜第一当成自己的最优解，总榜是加权平均，权重里可能根本没你要的那项能力
• 拿榜单分差当能力差距，分差落在题目噪声范围内时，其实说明不了谁强谁弱
• 忽略许可证与部署成本，能力合适但商用受限或你根本跑不动，等于白排，去 /open-weight-license-basics 那类内容里核对边界
• 把榜单快照当成长期结论，模型和榜单都在动，过一阵再看同一张榜，排序可能已经变了

什么情况下干脆别依赖排名：你的任务极窄、又有大量自有数据可以微调，这时候榜单的通用性结论几乎帮不上忙；或者你对输出格式稳定性要求极高，模型必须严格按 schema 返回，那么自己拿一批真实请求压测一遍，比看多少张榜都直接。反过来，如果你只是做早期技术预研、想快速了解这个领域的头部都有谁，榜单仍然是个省时间的入口。

排名回答的是别人在别人条件下测出了什么，选型回答的是你的任务在你这套约束下跑不跑得动——这两件事不能划等号。