你大概是在群里看到一张「最强模型排行」的图,或者搜到某个榜单第一,然后想:这跟我手上的活到底有多大关系?这篇不给你一个「谁最强」的结论,而是给你一套读榜的方法:先分清榜单测的是什么、再看它跟你的任务像不像、最后用一小段自测确认。适合要做模型选型、又不想被排名牵着走的人。
你大概是在群里刷到一张「最强模型排行」的图,或者搜到某个榜单第一名,然后心里犯嘀咕:这跟我手头的活到底有多大关系?这篇不打算给你一个「谁才是最强」的结论,因为那种结论换个榜单就变。我给你的是一套读榜的方法:先分清榜单在测什么,再看它跟你的任务像不像,最后用一小段自测确认。适合要做模型选型、又不想被排名牵着走的人。
核心原则只有一句:榜单是参考,不是答案。它帮你缩小候选范围,但最终选哪个,得看你自己的输入跑出来什么样。下面按「先分类型、再避坑、接着自测、最后定看榜节奏」的顺序讲,每节都给能直接上手的动作。
先分清榜单在测什么:能力榜、偏好榜、场景榜
市面上叫「排行」的东西,其实至少分三类。能力榜测的是客观题,比如推理、数学、代码,有标准答案;偏好榜靠人投票或者模型互评,比的是「大家更喜欢谁的回答」;场景榜只测某一类任务,比如客服对话、文档摘要。三者结论经常互相打架,这不是谁造假,是测的东西根本不一样。看榜第一步,先在页面上找到它属于哪一类。
| 榜单类型 | 主要测什么 | 适合拿来参考的场景 | 要当心什么 |
|---|---|---|---|
| 能力榜 | 有标准答案的客观题 | 筛掉明显不行的候选 | 题型单一,写作和多轮对话测不出来 |
| 偏好榜 | 人投票或模型互评 | 看回答风格、可读性 | 受界面、名气、价格影响,有靠前偏好 |
| 场景榜 | 某一类具体任务 | 跟你任务接近时参考价值最高 | 任务稍偏一点结论就不适用 |
- 看榜先找评测集构成:以选择题为主的话,长文写作、多轮追问这类能力基本测不出来,别指望它给你答案
- 确认是否允许模型自带工具、联网、多轮自纠,带工具的分数不能和裸模型的分数直接比,这是两回事
- 留意榜单的更新节奏,新模型上线到进榜通常要隔一段时间,急着选型时别只盯最新那一张
- 如果一个榜单不写清楚评测集和口径,只给名次,那它对你的决策价值很有限
读排名的四个坑:分数饱和、同名不同版、自评、任务错配
榜单本身没问题,问题出在读法上。下面四个坑是最常见的,踩了任何一个,你都会做出跟实际体验不符的判断。先认坑,再谈怎么读。
- 坑一:分数饱和老题被刷爆之后,头部几家的分数会挤在一起,相差的那一点点往往落在评测噪声范围内,不代表你实际用起来有明显差异。看到头部扎堆时,别把顺序当实力排序。
- 坑二:同名不同版同一个品牌名下面通常有多个档位和多个快照版本,榜单写的是哪一个要先确认。做法是到 /models 对照具体条目,看它指的是哪一档、哪个版本,别拿旗舰档的分数去推低档的表现。
- 坑三:自评与偏好榜的水分人投票会受界面好不好用、价格贵不贵、名气大不大影响;模型互评则倾向于给自己这类回答打高分。偏好榜可以看风格倾向,别当成客观能力排名。
- 坑四:任务错配榜单第一在你手上的活里不一定第一。比如你要的是稳定输出结构化 JSON,而榜单测的是解数学题,这两件事对模型的要求完全不同。选型前先写清楚你的任务属于哪类。
用自己的任务做一次小自测,比读十张榜管用
读榜解决的是「哪些值得试」,自测解决的是「到底选哪个」。这一步花不了太多时间,但结论比任何榜单都贴你的实际。关键是别用示范题,要用你自己的真实输入;提示词和参数全程固定,只换模型。
- 准备样本挑 10 到 20 条你自己的真实输入,覆盖正常情况和边界情况,比如空输入、超长输入、格式要求严格的输入。样本要能代表你日常的主要任务,别只挑容易的。
- 固定条件跑固定提示词、固定参数、固定调用方式,让候选模型各跑一遍。每次只换模型这一个变量,否则结果没法归因。
- 盯三个指标只看三件事:结果对不对、输出格式合格率、单次响应等待时间。格式合格率指能直接被你程序解析的比例,这项经常比正确率更影响能不能落地。
- 隔天复跑一遍同一模型隔天再跑同样的样本,看波动大不大。波动大的模型不适合放进自动化流程,适合人盯着用。这一步能帮你避开「第一次测着挺好、上线后时好时坏」的坑。
去哪看、多久看一次、看哪几个指标
读完榜、测完自己,剩下的就是定个看榜节奏。节奏定死的意义在于:不让榜单更新替你改方案。日常只在两种情况下重看——要上新模型,或者现用模型明显退化。其余时候,把注意力放回业务。
- 横向比多家
- 想看真实调用量和用量分布,比单张榜更接近实际使用情况,到 /usage 和 /rankings 对照着看,数字以页面当时显示的为准
- 多榜单汇总与口径
- 想看多个榜单放在一起、并且有口径说明的,去 /benchmarks 和 /benchmarks/registry,先读口径再读名次
- 官方规格与计费
- 关心某家官方规格和计费口径,去 /official-api 下对应厂商页;榜单名次和它的价格档位经常不是一回事,要分开看
看的时候优先记三个指标:口径是什么、覆盖哪些任务、更新到什么时候。这三个决定了这张榜对你有没有用。名次本身放在最后看,因为它随时会变,而口径和任务覆盖才是判断依据。具体数字到站内对应页面核对当时的显示,别抄别人截图里的旧数据。
榜单帮你把候选缩到三个,自测帮你从三个里选一个。顺序反了,越读越乱。下一步把你看中的那张榜打开,找到它的口径和评测集说明,再拿你自己的 10 条输入去 /rankings 和 /benchmarks 对照着跑一轮,比继续刷排行管用。→
常见问题
榜单第一的模型是不是就是最好用的?
不一定。榜单测的是它自己那套题,第一名说明在那套题上强,不代表在你的任务上强。判断方法:拿你实际会喂给模型的 10 到 20 条输入跑一遍候选模型,比正确率、格式稳定性和等待时间。如果三项都过关,名次第几其实无所谓;如果只有名次高但你的任务老出错,就别跟。
为什么不同榜单的排名差这么多?
因为评测集、评分方式、是否允许用工具、版本快照都不一样。有的榜是选择题、有的是人投票、有的只测代码。你在 /benchmarks 看到的口径说明比名次本身更值得读。遇到两个榜结论冲突,先看它们是不是测了同一件事,往往根本不是。
多久重新看一次模型排行比较合适?
不要按固定周期追。触发条件有三个:你要上新项目得选模型、现用模型出现明显质量或延迟退化、官方发了新的档位或价格变动。看的时候去 /rankings 和 /usage 对照,前者看可信度口径,后者看真实用量分布,两边都动的才值得你花时间评估。