评测基准百科
BENCHMARK REGISTRY基准百科主流 AI 评测基准的元数据：考什么、多少题、分数区间、当前前沿分数与 SOTA 持有模型、是否已经饱和、以及污染的可靠程度。六类基准各自有独立页面，先按分类读「怎么用」，再看全量一览。
共收录 36 个评测基准，覆盖 6 个分类；其中 19 个活跃、 13 个已饱和、 4 个已停用， 另有 6 个属于高污染风险。 32 个（89%）能追溯到明确的 SOTA 持有模型。 每条都给出「考什么」的中文概述、题目规模、分数怎么看与论文 / 榜单入口；分类页另讲这一类该怎么读分、哪些分数已经失效。
按分类读：六类基准各有一页
6 个分类知识问答
学科知识、常识与专家级问答
MMLU、MMLU-Pro、GPQA Diamond 等
这一类该怎么看 →
数学推理
竞赛数学与多步数值推理
MATH、AIME 2025、GSM8K
这一类该怎么看 →
代码工程
写码、改码与仓库级工程任务
HumanEval、MBPP、LiveCodeBench 等
这一类该怎么看 →
多模态
图文、图表与跨模态理解
MMMU-Pro、MathVista
这一类该怎么看 →
Agent 与工具
工具调用、浏览器、终端与计算机操作
Tau-Bench、GAIA、WebArena 等
这一类该怎么看 →
长上下文
长文档检索与长程推理
RULER
这一类该怎么看 →
全部基准一览
显示 36 / 36 个分类不在这里筛：六类分类是独立地址（见上方分类卡），这里只按关键词、状态与污染风险过滤下面这张表。
| 基准 | 分类 | 发布 | 题目规模 | 分数区间 | 当前前沿 | SOTA 模型 | SOTA 日期 | 状态 | 污染风险 | 论文 | 榜单 / 代码 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| GDPval gdpval | 知识问答 | 2025 | 1,320 个任务，覆盖 44 个职业 | 对人类的交付胜率，或锚定参考模型的 Elo | 1866 Elo | Claude Opus 5.5 (adaptive reasoning, max effort, default fallback) | 2026-10 | 活跃 | 污染 低 | 论文 → | 榜单 → |
| Humanity's Last Exam hle | 知识问答 | 2025-01 | 2,500 道题（公开集） | 0–100% 正确率 | 61.4% | Claude Opus 5.5 (adaptive reasoning, max effort, default fallback) | 2026-09 | 活跃 | 污染 低 | 论文 → | 榜单 → |
| MMLU-Pro mmlu-pro | 知识问答 | 2024 | 12,032 道题 | 0–100% 正确率 | 92.38% | Claude Fable 5.1 | 2026-09 | 活跃 | 污染 中 | 论文 → | 榜单 → |
| DeepSWE deepswe | 代码工程 | 2026 | 113 个任务，覆盖 91 个仓库、5 种语言 | 0–100% 通过率 | 74% | GPT-6 Astra (xhigh), Gemini 3.8 Flash (high), and Claude Opus 5 (max), tied | 2026-09 | 活跃 | 污染 低 | 论文 → | 榜单 → |
| FrontierCode frontiercode | 代码工程 | 2026 | 主集 100 个任务，扩展集 150 个 | 0–100% 综合评分（任务通过率另行报告且更高） | 54.6% | Claude Opus 5.5 (medium) | 2026-09 | 活跃 | 污染 低 | — | 榜单 → |
| SWE-bench Pro swe-bench-pro | 代码工程 | 2025 | 1,865 个实例，覆盖 41 个仓库 | 0–100% 解决率 | 61.50 | Muse Spark 1.1 | 2026-07 | 活跃 | 污染 中 | 论文 → | 榜单 → |
| SWE-Lancer swe-lancer | 代码工程 | 2025-02 | 1,488 个任务 | 0–100% 收益完成度 | 81.4% | GPT-5.3-Codex (xhigh) | 2026-02 | 活跃 | 污染 低 | 论文 → | 代码 → |
| MathVista mathvista | 多模态 | 2024 | 6,141 道题 | 0–100% 正确率 | ~80% | — | — | 活跃 | 污染 中 | 论文 → | 榜单 → |
| MMMU-Pro mmmu-pro | 多模态 | 2024 | ~3,500 道题 | 0–100% 正确率 | ~86.9% | — | — | 活跃 | 污染 中 | 论文 → | 榜单 → |
| ARC-AGI-3 arc-agi-3 | Agent 与工具 | 2026 | 数百个手工设计的可交互环境（不公开） | 0–100% 环境解决率 | 62.7% | GPT-6 Astra (max) | 2026-09 | 活跃 | 污染 低 | 论文 → | 榜单 → |
| AutomationBench automationbench | Agent 与工具 | 2026-04 | 600+ 个留出任务，覆盖 6 个领域（另有 600 题的公开集单独发布） | 0–100% 任务正确完成率 | 51.29% | Gemini 4 Argon (high) | 2026-10 | 活跃 | 污染 低 | 论文 → | 榜单 → |
| BFCL V4 bfcl | Agent 与工具 | 2024 | 4,400+ 个测试用例 | 0–100% 正确率 | 77.47 | Claude Opus 4.5 (function calling) | 2026-04 | 活跃 | 污染 中 | — | 榜单 → |
| BrowseComp browsecomp | Agent 与工具 | 2025 | 1,266 道题 | 0–100% 正确率 | 92.2% | GPT-5.6 Sol | 2026-07 | 活跃 | 污染 高 | 论文 → | 榜单 → |
| HCAST hcast | Agent 与工具 | 2024 | ~70 个任务 | 按人类完成所需时长衡量（分钟） | 50% | Claude Mythos Preview (early, ReAct/Inspect) | 2026-05 | 活跃 | 污染 低 | 论文 → | — |
| OSWorld 2.0 osworld-2 | Agent 与工具 | 2026 | 108 条工作流，覆盖 7 个领域 | 0–100% 二进制完成率（部分分单独报告） | 31.43% | Claude Opus 5 (max, batch tool) | 2026-08 | 活跃 | 污染 低 | 论文 → | 榜单 → |
| Tau-Bench tau-bench | Agent 与工具 | 2024-06 | ~250 个任务 | 0–100% pass@1（一次通过率） | 87.9% | Qwen3.5-397B-A17B (thinking) | 2026-03 | 活跃 | 污染 低 | 论文 → | 榜单 → |
| Terminal-Bench 4.0 terminal-bench-4 | Agent 与工具 | 2026-08 | 66 个任务 | 0–100% 解决率 | 65.15% | Claude Opus 5.5 | 2026-09 | 活跃 | 污染 低 | — | 榜单 → |
| Terminal-Bench-Science 0.1 terminal-bench-science | Agent 与工具 | 2026 | 70 个任务，覆盖 5 个科学领域 | 0–100% 任务解决率 | 62.86% | GPT-6 Astra | 2026-10 | 活跃 | 污染 低 | — | 榜单 → |
| WebArena webarena | Agent 与工具 | 2023 | 812 个任务 | 0–100% 解决率 | 74.3% | DeepSeek v3.2 with WebTactix | 2026-02 | 活跃 | 污染 低 | 论文 → | 榜单 → |
| ARC-AGI-2 arc-agi-2 | 知识问答 | 2025-03 | 约 400 个公开任务，另有私有集 | 0–100% 正确率 | 95.0% | GPT-6 Astra (max) | 2026-09 | 已饱和 | 污染 低 | 论文 → | 榜单 → |
| GPQA Diamond gpqa-diamond | 知识问答 | 2023 | 198 道题 | 0–100% 正确率 | 96.3% | GPT-6 Astra (xhigh) | 2026-09 | 已饱和 | 污染 低 | 论文 → | 代码 → |
| MMLU mmlu | 知识问答 | 2020 | 15,908 道题 | 0–100% 正确率 | ~92% | — | — | 已饱和 | 污染 高 | 论文 → | 代码 → |
| GSM8K gsm8k | 数学推理 | 2021 | 8,500 道题 | 0–100% 正确率 | 99.6 | MiMo-V2.5-Pro Base | 2026-04 | 已饱和 | 污染 高 | 论文 → | 代码 → |
| MATH math | 数学推理 | 2021 | 12,500 道题 | 0–100% 正确率 | ~99.4% | — | — | 已饱和 | 污染 高 | 论文 → | 代码 → |
| HumanEval humaneval | 代码工程 | 2021 | 164 道题 | 0–100% pass@1（一次通过率） | 96.3 | o1 Preview and o1 Mini (tied) | 2024-12 | 已饱和 | 污染 高 | 论文 → | 榜单 → |
| LiveCodeBench livecodebench | 代码工程 | 2024 | 1,000+ 道题，持续增长 | 0–100% pass@1（一次通过率） | 87.3 | o4-mini (high) | 2025-08 | 已饱和 | 污染 低 | 论文 → | 榜单 → |
| MBPP mbpp | 代码工程 | 2021 | 974 道题 | 0–100% pass@1（一次通过率） | 95.5 | o1 Preview | 2024-12 | 已饱和 | 污染 高 | 论文 → | 代码 → |
| SWE-bench Verified swe-bench-verified | 代码工程 | 2024-08 | 500 个实例 | 0–100% 解决率 | 97.00% | Claude Opus 5 | 2026-09 | 已饱和 | 污染 中 | 论文 → | 榜单 → |
| GAIA gaia | Agent 与工具 | 2023 | 466 个任务 | 0–100% 正确率 | 93.36% | CustomGPT.ai Research Lab v44 (agent scaffold) | 2026-06 | 已饱和 | 污染 低 | 论文 → | 榜单 → |
| OSWorld osworld | Agent 与工具 | 2024 | 369 个任务 | 0–100% 解决率 | 90.19% | Intelligence-Indeed Agent | 2026-07 | 已饱和 | 污染 低 | 论文 → | 榜单 → |
| Terminal-Bench 2.1 terminal-bench-2 | Agent 与工具 | 2026 | 89 个任务 | 0–100% 任务解决率 | 87.27% | GPT-6 Astra | 2026-09 | 已饱和 | 污染 低 | — | 榜单 → |
| RULER ruler | 长上下文 | 2024 | ~13 类任务 | 0–100% 正确率 | 95.1 | Jamba-1.5-large | 2024-08 | 已饱和 | 污染 低 | 论文 → | 代码 → |
| AIME 2025 aime-2025 | 数学推理 | 2025 | 30 道题 | 0–30 分（答对题数） | 100.00% | GPT-5.2 (high and xhigh, tied) | 2026-08 | 已停用 | 污染 低 | — | 榜单 → |
| Aider Polyglot aider-polyglot | 代码工程 | 2024 | 225 道题 | 0–100% pass@2（两次内通过率） | 88.0% | GPT-5 (high) | 2025-08 | 已停用 | 污染 中 | — | 榜单 → |
| Terminal-Bench terminal-bench | 代码工程 | 2025-01 | ~80 个任务 | 0–100% 解决率 | 64.5% | Apex2 with Claude Sonnet 4.5 | 2025-10 | 已停用 | 污染 低 | 论文 → | 榜单 → |
| Terminal-Bench 3.0 terminal-bench-3 | Agent 与工具 | 2026 | 74 个任务，覆盖 7 个领域 | 0–100% 任务解决率 | 42.7% | Claude Opus 5 (max) with mini-SWE-agent | 2026-07 | 已停用 | 污染 低 | — | 榜单 → |
「当前前沿」只取原榜文本里的那个数字，完整描述见分类页卡片；带 ~ 的是近似值，不同跑分方（官方榜 / Vals AI / Artificial Analysis / 厂商自报）之间往往不可直接比较。
基准分数 ≠ 中转站质量检测
读榜前先看这几条
常见问题
为什么有的基准不再被引用？
大多数情况是「饱和」：前沿模型已经做到 90 分以上，模型之间的差距小于评测噪声，继续引用没有区分度。另一种是「被取代」：出了更难的新版本（MMLU → MMLU-Pro、SWE-bench Verified → SWE-bench Pro、Terminal-Bench 3.0 → 4.0、OSWorld → OSWorld 2.0）。还有一种是被榜单维护方归档，例如 Vals AI 在 2026-09-01 把 MMLU-Pro 与 GPQA Diamond 归档为饱和，此后新模型不再有这两项成绩。
污染风险高的分数还能信吗？
能看，但要看懂它说明什么：高分可能来自「题目被训练数据吸收」而不是真实能力。典型特征是高污染基准的分数挤在 95% 以上、且不同厂商差距很小（例如 HumanEval、MBPP、GSM8K、MMLU）。判断方法：优先看低污染基准（LiveCodeBench、ARC-AGI-2/3、HLE、SWE-bench Pro 的私有集）是否给出同方向的结论；如果只有高污染基准的分高，就别当能力证据。
同一个基准，为什么各家公布的分数差很多？
常见原因有四类：① 跑分方不同（官方榜 / 第三方独立跑 / 厂商自报）；② 版本不同（Terminal-Bench 2.0、2.1、3.0、4.0 的题目与超时都不一样，官方明确说明不可比）；③ 脚手架不同（同一模型换 Agent 框架，SWE-bench 类差距可超过 10 分，ARC-AGI-3 甚至从 62.7% 到 99.9%）；④ 是否带工具、思维预算（effort）档位不同。看到异常高的分数，先找它的评分说明。
「已饱和」和「已停用」有什么区别？
已饱和＝题目本身还有效、但前沿模型已经接近上限，分数不再能区分模型（本页共 13 个）。已停用＝这个基准或它的这个版本已经被官方弃用、不再维护（共 4 个，如 AIME 2025 已翻篇、Terminal-Bench 3.0 被 4.0 取代）。选型时两者都应降权，活跃基准才值得优先参考。
怎么挑一个真正有用的基准？
按三步筛：① 任务要和你的场景同构（客服 Agent 看 Tau-Bench，桌面操作看 OSWorld 2.0，改私有仓库看 SWE-bench Pro，长文档看 RULER）；② 污染风险要低、状态要活跃；③ 有独立第三方跑分可用，而不是只有厂商自报。各分类页都写了这一类的判据与坑，从分类卡进去看。
为什么有的基准没有 SOTA 模型或日期？
有些基准只公布了分数、没有可追溯的持有模型（例如 MMMU-Pro、MathVista 的榜单是聚合厂商自报，没有维护方复跑），或者该基准已经不再有机构跑分。这种条目一律显示「—」，并保留原榜的分数原文，不做推测填充。
数据来自公开渠道整理：各基准的论文、维护方榜单与第三方跑分结果，数据日期 2026-10-19。