推理模型排名怎么排

打开一个推理模型榜单，排在前面的未必是你该用的。你会卡在几件事上：分数来自哪套题、有没有比「思考长度」、榜单多久没更新、自己任务跟榜单题型差多远。这篇拆开评测维度和排序逻辑，给一套看榜的检查顺序，让你三十秒内判断一个榜值不值得信。

打开一个推理模型榜单，排在前面的未必是你该用的。你会卡在几件事上：分数来自哪套题、有没有比「思考长度」、榜单多久没更新、自己任务跟榜单题型差多远。这篇拆开评测维度和排序逻辑，给一套看榜的检查顺序。

先记住一个前提：推理模型榜本质上是一份「在特定题型、特定采样规则下」的成绩单，不是一份采购建议书。看懂它，靠的不是记住谁在第一位，而是看懂它测了什么、没测什么，以及跟你手上的活儿差多远。下面按维度拆开讲，每节都给一条能立刻用上的判断标准。

榜单到底在测什么

多数推理榜测的是「有标准答案的题」，数学、代码、逻辑谜题为主，开放写作和长链条决策很少进榜。因为只有标准答案才能自动判分，写作类题目得靠人去评，成本高、口径还难统一，所以大部分榜单干脆不碰。

同一批模型在不同榜单分数差很大，先看题目集是否公开、是否允许联网或调工具。允许联网的榜测的是「模型加工具」的组合能力，跟纯模型能力是两回事；不写清楚这一条的榜，跨榜比较基本没有意义。

• 官方自报成绩的榜：模型厂商自己发的结果，只能当宣传材料看，重点看它有没有交代题目来源和判分方式
• 第三方跑固定题集的榜：有独立方按同一套题、同一套规则跑，横向可比性最强，优先看这类
• 混合榜：题目公开但采样参数不公开，分数能看趋势，不能拿来算差距
• 社区众测榜：样本少、题型杂，适合发现异常现象，不适合当选型依据

分数是怎么算出来的：正确率、投票与自评分

常见三种打分：最终答案对错、多次采样投票后对错、以及让模型给自己或给别人打分。第一种最干净，第二种子啊能提升稳定性但会掩盖单次表现的波动，第三种口径最容易出问题。

自评分和互评模式最容易虚高，模型倾向给自己风格的答案高分，跨榜比较时基本不能混用。看到「由模型担任裁判」的评测，先问一句裁判模型是谁、跟被测模型是不是同一个家族。

采样次数

同一道题跑几遍再算成绩；跑得多成绩通常更好，不看这条就没法比

温度参数

控制输出随机性；温度不同，同一模型的正确率能差出一截

思考预算

允许模型先想多长；不写这条，等于让跑得久的选手偷偷多拿了时间

判分方式

答案严格匹配、还是用模型判对错；后者宽松，分数普遍偏高

判断一个榜值不值得比，就查这四项有没有写。四项齐了，榜单至少是可复现的；只写一个总分、其余全无，那这个榜只能拿来看个大概。

思考长度、token 预算与延迟这三笔账

推理模型比普通模型多一层「先想再答」，思考 token 也算钱也算时间，榜单通常只报正确率不报成本。你可能看到某个模型正确率领先，但它是靠长时间思考堆出来的，落在实际产品里就是响应慢、单次开销高。

判断一个榜有没有意义，看它有没有同时给准确率和平均输出长度。只给准确率的榜，会变相奖励「无限思考」，把慢而贵的方案排到前面。这一条在选型阶段最容易踩坑。

落到你自己的任务：能接受几秒出结果、单次能烧多少 token，先把这两条定下来再去比分数。两条红线定完，通常候选名单就只剩两三个，比对着榜单从头看到尾快得多。

题目饱和与数据污染：榜单为什么会「拉不开差距」

题目太老或太简单时，前排模型的分数会挤在一起，这时候名次先后没有实际含义。一个榜上前几名只差零点几个百分点，其实统计上就是同一档，硬按名次去选，等于在噪声里做决策。

公开题库可能进了训练数据，分数高不代表真会做。看榜单有没有用新题、私有题或定期换题，是识别污染最直接的一条线索。

• 同一模型隔一段时间分数突然跳一截，先怀疑题目换了或判分口径变了，别急着当成模型升级
• 小模型反超大模型，多半是题型变了、题目变窄了，或者大模型那次被限制得太死
• 榜首几家分数贴在一起，说明这套题已经饱和，该看子项而不是看总分
• 题目集突然换成私有题后，整体分数普遍下移，这是正常现象，不代表模型退步

按你的任务类型挑维度：数学、代码、长文档、工具调用

写代码看代码类子项，别只看总分；做合同和财报看长文档与引用类子项；做流程自动化看工具调用与多步执行类子项。总分只用来缩小候选范围，真正拍板要看跟你任务最接近的那个子项。

推理模型并非万能，简单分类、抽取、改写类任务用普通模型更快更便宜，这类任务看推理榜没有参考价值。别被榜单上的高分带着走，把需要长时间思考的场景硬套到日常轻任务上，只会换来更慢更贵的体验。

看一个推理榜的六步检查顺序

1. 看谁跑的先分清是官方自报还是第三方独立跑题。官方只当宣传，第三方才有横向比较价值
2. 看题目是否公开公开题目容易出现污染，私有题和新题更可信；连题目来源都不写的，直接降级
3. 看采样与思考预算查有没有写采样次数、温度、思考长度上限。三项缺两项，分数就没法复现
4. 看更新时间超过一个季度没动的榜只当历史参考。模型迭代快，旧榜的名次很可能已经翻篇
5. 看有没有成本与延迟维度只报正确率不报开销的榜，会把慢而贵的方案排前面，参考价值打对折
6. 看你的题型在不在里面榜单里没有贴近你任务的子项，这个榜对你的参考价值就只剩「知道有这么几个模型」

六步里有三步答不上来，就把这个榜降级成线索，而不是选型依据。这个标准不需要你懂评测方法，问自己能不能回答这六个问题就够了。

多榜交叉验证：什么时候结论才算稳

同一个模型在三个口径不同的榜上都靠前，且题型贴近你的任务，这个结论才值得采信。注意是「口径不同」的榜，如果三个榜其实抄的是同一份成绩，那它只是一个榜重复了三遍。

反过来，只有一个榜把它排前面、其他榜中游，先当成噪声，找个小样本自己跑一轮。多榜之间差得离谱的时候，问题往往出在题目集或判分方式上，而不是模型本身。

• 挑二三十条真实历史任务，覆盖你日常最常见的几类输入
• 两个候选模型各跑一遍，人工看对错和可用度，不看模型自己给的信心
• 把「能直接用」「改一改能用」「重做」三类记下来，算个比例
• 再对照 价格追踪（/price-watch） 和 速度测试（/tools/speed-test） 的当时数字，综合判断
• 样本量不用大，二三十条已经足够发现哪个模型明显不合手

榜单告诉你模型能做什么，你的小样本才告诉你它能不能干你这活。