AiTest123.comAI 评测与可信度检测平台
拖动滑块完成拼图，通过后发送验证码
独立第三方 AI 评测平台 · 只用实测数据
代码工程是分类最细、也最容易被误读的一类：HumanEval（164 题）与 MBPP（约 1,000 题）是 2021 年的开山题集，早已饱和且污染风险高；真正能分开当前模型的是 SWE-bench 系列（真实 GitHub issue 的补丁）、LiveCodeBench（只用训练截点之后发布的新题）、Terminal-Bench 4.0（终端里的 Agent 循环）与 FrontierCode（看补丁能不能被维护者合并）。这一类的分数对脚手架极度敏感：同一个模型换 Agent 框架，SWE-bench 类的差距可以超过 10 分。
本分类收录 10 个基准：活跃 4、已饱和 4、已停用 2；高污染风险 2 个，另有 10 个（100%）能追溯到明确的 SOTA 持有模型。 全站共 36 个基准、6 个分类， 回评测基准百科看全部，或从下方「其它分类」切到相邻的一类。
2026 发布 · 维护方 Datacurve
113 道从零编写的长时程工程任务（91 个仓库、5 种语言），人工验证器检验行为而非实现方式，题面更短但参考解代码量约多 5.5 倍。
SOTA：GPT-6 Astra (xhigh), Gemini 3.8 Flash (high), and Claude Opus 5 (max), tied · 2026-09
原榜分数原文：74% (v1.1), a three-way tie within error bars (+/- 3, 1, and 4 points), on a board last updated 2026-09-22. Google self-reports Gemini 4 Argon at 77.9% on v1.1, which the board had
2026 发布 · 维护方 Cognition
不看测试是否通过，而看补丁能不能被维护者合并：由近 36 位真实维护者出题，评分表覆盖行为正确性、回归风险、测试质量与工程规范。
SOTA：Claude Opus 5.5 (medium) · 2026-09
原榜分数原文：54.6% score, Main split v1.1, medium effort; Claude Fable 5 (53.5%), Claude Opus 5 (53.4%), and GPT-6 Astra (53.3%) follow within about 1.3 points. Cognition's changelog added Clau
2025 发布 · 维护方 Scale AI (Scale Labs), not the Princeton SWE-bench team
面向企业级长时程工程：41 个仓库、1,865 个实例，需要跨文件改动；分公开集、留出集与创业公司私有代码三类。
SOTA：Muse Spark 1.1 · 2026-07
原榜分数原文：61.50 public split (51.50 private); newer vendor self-reports run far higher and are not on the Scale board
选型提示：公开集 61.5%、私有集 51.5%，这 10 分的落差本身就是过拟合提示。
2025-02 发布 · 维护方 OpenAI
Upwork 上真实付费的工程任务（赏金总额超 100 万美元），含 diff 修复与较长功能开发，按原始雇主验收标准判分。
SOTA：GPT-5.3-Codex (xhigh) · 2026-02
原榜分数原文：81.4% (IC Diamond pass rate)
2021 发布 · 维护方 OpenAI
164 道带单元测试的 Python 编程题，代码生成评测的开山之作，今天只能代表能力下限。
SOTA：o1 Preview and o1 Mini (tied) · 2024-12
原榜分数原文：96.3 pass@1
选型提示：只当能力下限看，前沿区分度用 SWE-bench Pro / DeepSWE / FrontierCode。
2024 发布 · 维护方 UC Berkeley + UW
持续更新的竞赛编程题库，只取模型训练截点之后发布的题目，从构造上避免污染。
SOTA：o4-mini (high) · 2025-08
原榜分数原文：87.3 pass@1 (v6, final version)
选型提示：v6 为最终版本，题库不再扩充。
2021 发布 · 维护方 Google Research
约 1,000 道众包编写的入门级 Python 编程题，与 HumanEval 同代，同样已经饱和。
SOTA：o1 Preview · 2024-12
原榜分数原文：95.5 pass@1
选型提示：同 HumanEval，已饱和，不建议作为选型依据。
2024-08 发布 · 维护方 OpenAI / Princeton
500 个经人工确认的 GitHub issue（12 个 Python 仓库），补丁要既解决问题又通过项目测试，衡量真实修 bug 能力。
SOTA：Claude Opus 5 · 2026-09
原榜分数原文：97.00% (Vals AI bash-only harness, board archived as saturated on 2026-09-01; seven models at 95% or better)
选型提示：官方榜自 2026-02 起未收录新成绩，独立跑分与厂商自报已聚集在 90 分以上，脚手架差异大于模型差异。
2024 发布 · 维护方 Aider
225 道 Exercism 难题，覆盖 C++ / Go / Java / JS / Python / Rust，并要求以 diff 形式改代码，贴近真实工程改法。
SOTA：GPT-5 (high) · 2025-08
原榜分数原文：88.0% (diff format)
2025-01 发布 · 维护方 Stanford + Anthropic
把 Agent 放进沙箱终端只给一个目标，用确定性后置检查判定成败，考的是智能体循环而非单点语言能力。
SOTA：Apex2 with Claude Sonnet 4.5 · 2025-10
原榜分数原文：64.5% (1.0, legacy split)
只说明「能写出结构正确的短函数」，属于能力下限。HumanEval 只有 164 题、题目公开多年、污染风险高，前沿模型的 pass@1 普遍在 90 分以上，分差已经落在噪声里。要区分模型，得看仓库级任务。
Verified 是 500 个人工确认可解的 GitHub issue（12 个 Python 仓库）；Pro 扩大到 41 个仓库、1,865 个实例，并分成公开集、留出集与创业公司私有代码三类。Pro 的公开/私有落差（约 10 分）是判断模型有没有针对榜单过拟合的关键信号。
不能。每个版本都改了题目、修了坏题或换了 harness：2.1 修好 2.0 中 28 道有问题的题目（修题后最大摆动 12.1 分），3.0 已被 4.0 取代，4.0 又把全榜从 Terminus 2 换成mini-swe-agent。跨版本只能看趋势，不能排名。
它要回答的是「补丁能不能被真实维护者合并」：由近 36 位维护者出题，评分表覆盖行为正确性、回归风险、测试质量与工程规范。测试通过只覆盖其中一项，把测试当唯一标准会奖励「为了让测试变绿而改测试」的写法。
不能这样推。基准任务是「题目 + 测试」都给定的小切片，真实项目要读需求、对齐约定、承担回归风险。本页的分数只用来筛选「哪个模型在受控任务上更可靠」，工程落地还要看上下文长度、工具链与人工复核成本。
数据来自公开渠道整理：各基准的论文、维护方榜单与第三方跑分结果，数据日期 2026-10-19。
