模型竞技场（LMArena）

LMArena 是一个公开的模型对比竞技场。用户提交问题后，系统随机返回两个匿名模型的回答，由用户投票选出更好的一方，投票累积后形成整体排名与分项榜单。它的价值在于把「谁更强」从厂商自述变成大规模盲测统计，让开发者与产品经理在选型时有一个可参照的公共信号，而不必只看宣传材料或自家零散试用。

评比机制

提问后两个模型匿名作答，双方身份在投票前不可见，投票结果进入统计模型，逐步收敛出相对强弱，这套思路来自棋类比赛常用的 Elo 式评分。由于题目来自真实用户，覆盖写作、代码、推理、多语言等场景，比固定题库更接近日常使用。分项榜单会按能力维度切分，便于判断某个模型擅长的是哪一类任务。需要留意的是，排名反映的是相对偏好而非绝对水平，且会随新模型加入与投票分布变化而持续波动。

使用建议

• 看分项别只看总分：不同榜单侧重编程、长文本、视觉等能力，按自己的场景挑选更靠谱。
• 参考票数与置信区间：票数少的模型排名波动大，差距很小时不宜下结论。
• 关注风格而非只看胜负：亲自试用榜单里的回答，判断它的问题是否与自己的任务同源。
• 结合自建评测：公共榜单反映平均偏好，业务效果仍需用自有数据验证。

常见误区

• 把排名当结论：榜单偏好会受提问人群与投票口味影响，回答讨喜并不等于事实正确。
• 用总分决定细分任务：客服问答与代码修复对能力的要求差异很大，总分无法覆盖。
• 忽略成本与延迟：排名靠前的模型未必满足业务的响应时间与调用预算。
• 把一次性结论固化：模型与榜单都在更新，选型结论宜定期复核。

与自建评测的分工

合理的用法是把公共榜单当作第一轮筛选，从候选池里挑出若干模型，再用自有业务数据做盲测对比。自建评测不需要很大的规模，关键是题目要来自真实工单、评分标准要提前写明，并固定同一批题目反复跑，才能比较出改动带来的真实差异。两者结合，既能借外部信号避免井底之见，又能保证最终选择贴合自己的任务分布。评测题目应定期补充新出现的真实问题，并把模型答错的案例留档，作为下一轮筛选与提示优化的输入。