Elo 评分（Elo Rating）

Elo 评分（Elo Rating）最初用于棋类选手排名，后来被引入大模型对战榜单：让两个模型的回答匿名呈现，由人或裁判模型比较优劣，胜者加分、负者减分，反复累积后得到相对实力分。它解决的是「没有标准答案时如何排序」的问题，把主观偏好转成可比较的数值，因此特别适合开放式问答与写作这类难以自动判分的任务。

计算直觉

系统先根据双方分差算出一个预期胜率，再用实际结果与预期之差来调整分数。击败强手加分多，输给弱手扣分也多，因此分数反映的是相对位置，而不是绝对能力。两位选手分数接近时，一场胜负不足以说明差距，通常需要多轮对战才能让排序稳定下来。同一场胜负对不同分段的选手影响并不相同，这也是它适合做相对比较、不适合做绝对评分的原因。

与传统打分的区别

常见的绝对打分要求评判者给出一到五分的评级，不同人的尺度差异很大；Elo 只要求回答「哪一个更好」，判断门槛更低，结果也更一致。代价是它只产出排序信息，无法告诉你某模型在某个能力上具体达到什么水平，因此常与分项评测配合使用：用对战分数看整体偏好，用专项测试看具体能力。

主要局限

• 依赖对手分布：只和弱模型交手的高分含金量有限，样本覆盖很重要。
• 顺序与排版偏差：回答呈现顺序、长度与排版风格都会影响评判倾向。
• 偏好不等于正确：讨喜的表达可能胜过更准确的答案。
• 分数不可跨榜比较：不同榜单的题池与评判口径不同，数值不能直接搬运。

实践要点

因此 Elo 榜单适合用来观察大趋势与发现新模型，具体选型仍需回到业务场景自测。使用时关注样本量与置信区间，样本太少时排名波动可能只是噪声。若用于内部评比，建议固定题池、随机化呈现顺序、并要求评判者给出简短理由，便于事后分析偏差成因。当两个模型分数接近时，与其纠结名次，不如把它们放进同一批真实业务样例里做盲测，看哪一个更贴合实际需求。

常见误区

• 把分差当作能力差：Elo 只表示相对胜负概率，分数差无法直接换算成业务表现差距。
• 忽视评判者偏好：无论是人还是裁判模型，都会偏爱长回答与结构化排版，需要做长度与格式控制。
• 用单一榜单定选型：榜单衡量的是通用对话偏好，未必覆盖代码、数学或多语言等专门能力。
• 忽略更新时点：模型迭代与题池变化都会影响分数，跨时间点直接比较意义有限。