知识问答类评测基准

44 个职业、1,320 项有真实经济价值的工作任务，由资深从业者出题，用盲评对比人类交付物给出胜率或 Elo。

题目规模

1,320 个任务，覆盖 44 个职业

分数区间

对人类的交付胜率，或锚定参考模型的 Elo

SOTA：Claude Opus 5.5 (adaptive reasoning, max effort, default fallback) · 2026-10

原榜分数原文：1866 Elo (GDPval-AA v2.1, 220 tasks), 9 ahead of Muse Wonder Full (max) at 1857 and 28 ahead of Claude Sonnet 5.5 (max) at 1838; the Elo re-anchors as models join and versions chan

选型提示：Elo 不要归一化到 0–100，且版本间会重新锚定，旧版成绩不可比。

跨 100 多个学科的专家级难题，公开集 2,500 题、另有私有留出集防过拟合；厂商常见「带工具 / 不带工具」两种跑法。

题目规模

2,500 道题（公开集）

分数区间

0–100% 正确率

SOTA：Claude Opus 5.5 (adaptive reasoning, max effort, default fallback) · 2026-09

原榜分数原文：61.4% no tools (Artificial Analysis run; previous best 59.1%, Claude Fable 5.1)

选型提示：对比分数前先确认是否带工具、工具配置如何，跑法不同不可比。

MMLU 的加难版：10 选 1、更强调多步推理而不是死记硬背，是当前判断「模型通识能力」最常用的题集。

题目规模

12,032 道题

分数区间

0–100% 正确率

SOTA：Claude Fable 5.1 · 2026-09

原榜分数原文：92.38% (Vals AI run; Vals archived this board as saturated on 2026-09-01 and no longer runs new releases, and the Artificial Analysis board has not added 2026 models)

选型提示：Vals AI 已于 2026-09-01 把该榜归档为饱和，Artificial Analysis 也未补录 2026 年新模型。

抽象图形推理：给几组示例归纳规则，靠现场推理而非训练数据重叠，用来观察模型解决全新问题的能力。

题目规模

约 400 个公开任务，另有私有集

分数区间

0–100% 正确率

SOTA：GPT-6 Astra (max) · 2026-09

原榜分数原文：95.0% at $1.12/task (human panel 100%)

研究生水平的物理 / 化学 / 生物难题，属于 Google-Proof（搜不到现成答案），198 题全部经过专家校验。

题目规模

198 道题

分数区间

0–100% 正确率

SOTA：GPT-6 Astra (xhigh) · 2026-09

原榜分数原文：96.3% (Artificial Analysis run)

选型提示：Vals 已把该榜归档为饱和，2026 年新发布的模型不再有该榜成绩。

57 个学科的选择题（法律、医学、历史、数学等），衡量模型的通用学科知识面，是「通用知识」类评测的起点。

题目规模

15,908 道题

分数区间

0–100% 正确率

SOTA：—

原榜分数原文：~92% (no maintainer board; last traceable figure 2025-08)

选型提示：已基本饱和，想看当前通用能力请改用 MMLU-Pro。