ai 模型排行

很多人是在要挑一个模型接进项目、或者被同事问「现在哪个模型最强」的时候，才去搜 AI 模型排行。翻到几个榜发现名次互相打架，同一家模型在不同榜上差好几名，看完更迷糊。这篇不给你一个固定名次，而是教你怎么读懂榜、怎么用榜单之外的证据交叉验证，最后落到自己任务上做一次小测。

很多人是在要挑一个模型接进项目、或者被同事问「现在哪个模型最强」的时候，才去搜 AI 模型排行。翻到几个榜发现名次互相打架，同一家模型在不同榜上差好几名，看完更迷糊。原因不复杂：这些榜压根不是在量同一件事，有的考做题，有的考人喜不喜欢，有的只是统计谁被调用得多。

这篇不给你一个固定名次，而是教你怎么读懂榜、怎么用榜单之外的证据交叉验证，最后落到自己任务上做一次小测。所有会变动的数字——谁排第几、分数多少、什么价格——都别信转述，到站内对应页面核对当时的值。

同一个模型，为什么几个榜排得不一样

名次冲突基本来自三个变量：题目集、打分方式、参评版本。题目集换了，考的侧重点就变了；打分方式从标准答案改成人类投票，结果就会偏向表达讨喜的模型；参评版本如果一个是满血大杯、一个是蒸馏小杯，那更是两个东西。三项里只要有一项不同，名次就会挪动。

一个常见误区是拿 A 榜的推理分去和 B 榜的偏好分并列讨论，这就像拿百米成绩和跳远成绩比谁更「强」。判断标准很简单：如果你要的是任务正确率，就只看能力型口径；如果你要的是聊天体验，就去看偏好型口径。混着用，结论一定打架。

常见排行榜有哪几类，各自能回答什么问题

把排行榜按「量什么」分三类，问题就清楚多了。能力型量的是固定题目上的表现，偏好型量的是人主观上更愿意选哪个，用量型量的是真实调用规模。三者都有用，但用途完全不同，别互相替代。

能力型榜单

固定题目集打分，适合看某个细分能力（推理、代码、长文、多模态）的相对位置；缺点是对题外任务外推有限

偏好型榜单

真人投票或盲测，适合看表达、语气、可用性这类主观体验；对专业任务几乎没有参考价值

用量型榜单

按真实调用量或渠道分布统计，反映的是大家用脚投票的结果，不等于能力高低，也可能受价格与限速影响

站内把这几类入口是分开放的，你先想清楚自己要回答什么问题，再决定去哪一类。如果你要选型，起点应该是能力型；如果你要判断某个模型最近是不是火，去看用量型；如果你在调产品语气，偏好型才有意义。

还有一点：很多榜单会同时挂一个综合分，把多个子项加权成一个数字。这种综合分的权重是别人定的，未必符合你的业务。看到综合名次先去看子项，找和你任务最接近的那一列。

看名次之前，先把指标和题目口径读一遍

同一个模型在不同设置下分数能差不少，所以读榜的第一步是读设置。重点看四条：有没有给示例、允不允许调用工具、限制多长输出、是不是模型自己当裁判。这四条不看清，名次就是浮的。

• 零样本还是给了示例：给了示例等于现场教学，分数会普遍抬高一截
• 允不允许调工具、联网、写代码执行：允许的相当于开卷，和纯闭卷不可比
• 输出长度上限：限得短会压低需要长篇推导的题，限得长又可能让模型啰嗦失分
• 有没有自评分或同源裁判：被评和评委来自同一家时，结论要打折看

另外注意题目是否饱和。如果头部几家的分数挤在一起，说明这套题已经区分不出差距，这时候的先后名次意义不大，谁在前谁在后可能只是随机波动。反过来，如果一道题大家都没做出来，那它对你也没有区分价值。

还有一个细节：同一模型的不同参数档位、不同上下文长度，往往是分开计的。别把大杯的成绩安到小杯头上，也别拿短上下文的分数去推断长文档任务的表现。要确认规格，去站内的模型库页面核对当时的说明。

榜单和模型都在滚动更新，怎么判断信息还新不新

榜单会过时，模型也会换代，这是常态。看任何一份结论前，先确认两件事：这份评价是什么时候做的，参评的是哪个版本。时间越久、版本越含糊，就越只能当历史参考，不能当现在的采购依据。

模型名后面常带别名、快照后缀或日期标记，这层关系不搞清很容易张冠李戴。想跟节奏，办法是固定看几个更新频繁的入口，而不是靠零散截图和转述。转述经过几手之后，时间和版本基本都丢了。

排行只能用来筛候选，最终还得回到你自己的任务

榜单第一名在你的场景里未必最优。涉及私有数据、长文档、特定语言或固定格式要求时，模型之间的差异会被放大，榜上的几分差距可能变成能不能用的问题。所以排行的正确用法是筛选，不是决策。

1. 定任务写下你最常发生的三类请求，以及能接受的最差结果长什么样；写不出「最差可接受」，后面就没法判好坏
2. 选候选从能力型榜单里按对应细分项挑两到三个不同阵营的模型，不要只挑同一家的
3. 定基线先用站内接口测速把延迟基线量出来，否则后面分不清是模型慢还是链路慢
4. 跑对照同一批样本、同一提示词、同一评分标准，记录正确率、格式合规率、单次耗时
5. 算账把结果和当时的按量价格合起来看，成本差多少，再决定用哪个或怎么分工

什么情况下这套流程可以省？如果只是临时问一句、或者对准确性完全没要求，直接用最顺手的那家就行，不必为此搭一套评测。但只要是要长期接入、要按量付费的场景，这几步省不掉。

样本设计上有个小技巧：除了日常任务，塞一两个边界情况，比如格式要求特别严的输出、或者你领域里的专有名词。头部模型在日常题上往往差不多，差距就在这些边界上显出来。

一次可执行的自测：从榜单到结论的完整步骤

把上面几节的内容收成一张可以照着做的清单。整个过程不追求严谨的统计显著性，追求的是「比拍脑袋买」靠谱一档，一两个小时能跑完。

• 建一个固定样本集，覆盖你的三类主要请求，每类若干条，写清期望输出
• 给每条样本定一个可判定的通过标准，比如「JSON 字段齐全且能解析」
• 固定提示词，除了模型名之外什么都不要改，包括参数和温度设置
• 每个候选跑一遍，记录通过率、格式合规率和单次耗时三项
• 把结果按「能不能用」先筛一轮，再用成本做第二轮取舍

自测最容易出的问题是随手改提示词。同一批样本，如果你给 A 模型加了详细说明、给 B 模型没加，那这轮结果就废了。要么都不加，要么都加一样的说明，并把说明本身当成被比较的一部分。

跑完之后，把通过率和当时的按量价格放在一起看，算一个「达到可用水平大概要花多少」的粗账。具体单价值多少，到站内的官方 API 价格页和 Token 单价换算页核对当时的数字，别用记忆里的旧值算。

几个容易踩的坑

这些坑很常见，但每一个都能提前避开。共同点是：把榜单当成了某种权威定论，而忘了它只是特定口径下的一次测量。

• 把总榜名次直接当采购依据，忽略自己任务里的语言、领域和格式要求
• 拿旧榜单的结论去评价新版本，或者反过来用新榜给已经淘汰的版本翻案
• 只看分数不看成本与限速，上线后才发现用量预算撑不住
• 把某一次众测或单个评测人的结论当定论，缺少多时段、多来源的交叉验证
• 看到「并列第一」就以为没差别，其实可能是题目饱和导致区分不出来

还有一个隐蔽的坑：拿榜单里的平均分去推断你那个窄场景的表现。榜单为了覆盖面广，题目往往比较通用；你的场景可能非常垂直，这时候榜单的参考权重应该显著降低，自测的权重应该提上来。

判断标准可以简化成一句：榜单能告诉你「哪些值得试」，你的自测才能告诉你「哪个该用」。两者的分工别搞反。

站内该去哪些页面核对当时的数字

最后把该核对的东西和对应的站内入口列一下。记住一个原则：凡是会变动的数字，都不引用转述值，一律到页面看当时的值。

想一直跟住动态，可以固定一个节奏：每隔一段时间去榜单库扫一遍有没有新口径，去价格追踪页看有没有变动，两者的变化往往比名次本身更有信息量。名次挪一位可能只是波动，价格和限速的调整却会直接影响你的选型。