96% 的测试集泄漏,大模型的跑分还能信吗?

资讯 腾讯网 作者:圈内小八哥 全文 5685 字 · 约 15 分钟读完 分类文心百度大模型AI 编程

文:ZZ 未至之境 TL;DR:一分钟读完▸我们在 20 套主流考卷上测试了 4 个公开的大模型基座版本,发现刚公开的百度的ERNIE-5.5-Flash-Base 能在没看过题的情况下,一字不差地默写出 96% 的 HumanEval 编程测试题、85% 的 OpenBookQA 科学测试题、80% 的 GSM8K

所属频道 大厂动态模型发布AI 编程与开发

文:ZZ 未至之境

📌 TL;DR:一分钟读完

▸我们在 20 套主流考卷上测试了 4 个公开的大模型基座版本,发现刚公开的百度的ERNIE-5.5-Flash-Base 能在没看过题的情况下,一字不差地默写出 96% 的 HumanEval 编程测试题、85% 的 OpenBookQA 科学测试题、80% 的 GSM8K 数学测试题,连同标准答案。

▸把能默写的题扣掉:百度ERNIE-5.5-Flash-Base的编程成绩从 100 分跌到 3.66 分,四个模型的平均分排名从第一跌到最后,腾讯混元HY变成了第一。

▸DeepSeek 和腾讯混元 Hy3 几乎默写不出题目,说明不靠背题,也能拿高分。

20 套考卷的平均分:实心为扣除后分数,斜线为被扣掉的部分

我们给一个刚发布的大模型出了一道编程题。这道题来自

它接着写出了第 67 题:题面、示例、官方参考答案,一字不差。原题作者当年手滑打错的一个单词 examble(本应是 example),它也原样照抄了下来。然后是第 68 题、第 69 题、第 70 题,顺序和考卷一模一样。

这些题,我们一道都没有给过它。

只给了第 66 题(左),模型接着逐字写出第 67 题的题面与官方参考答案(右),连原题拼写错误 examble 都照抄。红色高亮部分均未出现在输入中

这不是在做题,这是在默写测试集。

我们把整套考卷试了一遍:164 道题里,它能这样凭空默写出 158 道,连题带答案。

96%

没错,这个模型就是百度最近发布的 ERNIE-5.5-Flash-Base。在我们按常规方式做的标准评测里,它的 HumanEval 成绩是满分:100 分。

这不是孤例。过去一个月,我们在预训练和后训练两端都看到了同一个趋势:大模型的高分,越来越多地来自「见过考卷」,而不是能力。

要看懂这件事有多严重,只需要先花一分钟,了解大模型是怎么「上学」的。

◆ ◆ ◆

PART 01

一分钟看懂:大模型怎么「上学」

大模型的成长,大致分三步:

●预训练,像通读一座图书馆。喂给它海量的网页、书籍和代码,产出的叫 base 模型(基座模型):知识渊博,但还不太会听指令。

●后训练,像上岗培训。再专门教它听指令、写代码、操作电脑,它才成为我们平时用的聊天助手和 AI 智能体。

●跑分,就是考试。行业用一套套公开的标准考卷(benchmark,也叫测试集)给模型打分,发布会上的成绩表都来自这里。

麻烦在于:考卷是公开的。原题和答案一旦混进模型读过的书或培训材料,考试就不再是考试。

不过,「混进去」也分轻重:有的只是把题型刷熟了,有的是直接拿到了原卷。

PART 02

先分清两件事:刷榜,和背卷

「跑分注水」其实有两种,程度完全不同,常常被混为一谈。我们把它们分开:


Benchmaxxing:刷榜
Benchleaking:背卷
打个比方
考前猛刷同类题、研究出题套路
考前拿到了原卷和答案
做法
针对考卷合成相似的题、对齐答案格式、揣摩评分规则
考卷原题、标准答案、甚至隐藏的评分脚本进入了训练数据
训练时见过原题吗
没有
见过
典型证据
题目稍作改动,分数就大幅下滑
能逐字写出输入中根本没有的考题

Benchmaxxing

我们观察到,过去一个月两者都在明显加剧。最严重的情况,出现在模型的地基:「通读图书馆」的预训练阶段。我们就从这里说起。

PART 03

预训练阶段:连考卷一起读了

开头那个默写 HumanEval 的模型,就是一个刚读完图书馆、还没参加上岗培训的

Base 模型是整个行业的地基。很多公司会把它公开出来,无数研究者和企业在它的基础上,再训练出自己的模型、做自己的研究,默认它是一个干净的起点。

我们测试了四个公开的 base 模型:ERNIE-5.5-Flash-Base(百度,近期刚发布)、,覆盖知识常识、推理阅读、数学、代码、科学五大类,共 20 个主流

方法很简单。 照常给模型出一道题,只是答完之后不让它停下,看它接下来写了什么,再把它写出来的内容和这套考卷逐题比对。我们给它看过的题,一律不算。

开头的 HumanEval 就是这样发现的。在

答完 MMLU 抽象代数第 0 题后,模型按顺序写出后面的考题和正确答案。红色高亮部分均未出现在输入中

判定标准很严格。 只有当续写内容同时、逐字复现了题干、全部选项(或上下文)和标准答案,才算一次泄漏。代码题必须和官方参考实现一字不差,换一种写法、哪怕能通过测试也不算。在这个标准下:

Benchmark
DeepSeek-V4-Flash-Base
Hy3-preview-Base
MiMo-V2.5-Base
ERNIE-5.5-Flash-Base
HumanEval(编程)
9.1%
6.7%
73.8%96.3%
OpenBookQA(科学常识)
0.0%
0.0%
0.0%
85.4%
GSM8K(数学应用题)
0.8%
5.1%
4.4%
80.1%
GPQA(研究生级科学题)
0.0%
0.0%
0.0%
34.6%
MBPP(编程)
0.0%
0.0%
0.4%
9.2%
MMLU(综合知识)
<0.1%
<0.1%
0.5%
6.9%

表中为能被模型完整默写出来(题目 + 选项 + 答案)的考题占比。20 个 benchmark 的完整结果见论文。

几个细节:

●OpenBookQA 的一次生成里,ERNIE-5.5-Flash-Base 续写了 15 道题,14 道与考卷完全一致;

●在 GSM8K 上,它默写出的不只是题目和答案,还有官方解答的每一步推导;

●小米 MiMo-V2.5-Base 的问题集中在代码,HumanEval 能默写 74%,其他科目基本干净;

●DeepSeek 和腾讯 Hy3 在所有科目上都几乎默写不出题目。

连原题作者的错别字都一起背下来,这不是理解,是测试集泄露。

但能默写,不等于分数一定注了水。这些默写出来的题,到底给分数贡献了多少?我们算了一笔账。

PART 04

把能默写的题扣掉,第一变成了最后

一道题如果模型能默写出来,它在这道题上的得分就说明不了能力。所以我们做了一件很朴素的事:把所有能被默写出来的题记为 0 分,题目总数不变,重新算分。 我们叫它

ERNIE-5.5-Flash-Base
原始分
扣除后
HumanEval
100.00
3.66
OpenBookQA
98.60
14.20
GSM8K
91.21
17.21
GPQA-Main
59.15
32.81

满分的编程考卷,扣完只剩 3.66 分。

放到 20 个 benchmark 的平均分里,四个模型的排名变成了这样:

模型
原始平均分
扣除后
变化
ERNIE-5.5-Flash-Base
85.17(第 1)
68.55(第 4)
−16.6
MiMo-V2.5-Base
80.01(第 2)
75.03(第 3)
−5.0
Hy3-preview-Base
79.86(第 3)
78.55(第 1)
−1.3
DeepSeek-V4-Flash-Base
77.95(第 4)
76.48(第 2)
−1.5

20 套考卷的平均分:实心为扣除后分数,斜线为被扣掉的部分

榜首和末位之间,隔着的只是一份测试集。

六套代表性考卷:实心为扣除后分数,斜线为被扣掉的部分,黑色竖线为原始分

地基出了问题。那经过「上岗培训」、能自己动手干活的

PART 05

后训练阶段:模型记住了「考点」

所谓 AI 智能体,就是经过上岗培训、能自己写代码、操作电脑完成任务的模型。我们复现了近期两项针对它们的研究。

题目改一点,分数掉一截。

模型
原题通过率
改题后
下降
DeepSeek-V4.1-Flash
75.8%
62.5%
13.3 个百分点
Kimi-K3.1-Pro
83.8%
68.0%
15.8 个百分点

熟悉的题目能拿高分,换个说法就做不出来,就像一个学生只会做练习册上的原题。这是典型的刷榜迹象。

说出了从没被告知的考点。 这一条更进一步。模型看不到的评分程序自动检查答案,就像老师手里不公开的评分细则。

其中有一道音乐题:按巴赫众赞歌的风格,为一段低音写出四声部和声。题目里没有给出任何声部的音域,也就是每个声部最高能唱多高、最低能唱多低。

我们让 Kimi-K3.1-Pro 先列出「它收到的所有要求」。它写下了女高音、女低音、男高音、男低音四个声部的音域,和那段隐藏评分程序里的数字完全一致。这些数字只存在于模型看不到的评分程序里。

这就像一个考生在答卷开头写下「本题评分标准如下」,而写出来的,正是老师锁在抽屉里的那份细则。

题目(上)没有给出音域;Kimi-K3.1-Pro 列出的要求(左下)与隐藏评分程序(右下)中的四个声部音域完全一致

统计下来,正常解题时,Kimi-K3.1-Pro 在 14.3% 的任务中出现了这种「说出没被告知的考点」的情况,上一代 Kimi-K3 只有 1.6%。引导它复述指令时,两者分别是 51.5% 和 9.1%。

在「上岗培训」这一端,证据目前仍以刷榜为主,「记得隐藏考点」的线索才刚刚浮现。但把两端放在一起看,趋势已经很清楚:从刷同类题,到记住考点,再到整张考卷原封不动地进了地基,问题正在一步步加深。

那么,作为普通人,面对一张漂亮的成绩表,我们到底还能信什么?

PART 06

所以,跑分还能信吗?

同样的测试下,DeepSeek-V4-Flash-Base 和腾讯 Hy3-preview-Base 几乎默写不出任何题目,扣分后平均只掉了 1.5 和 1.3 分,依然是很强的模型。

这说明两件事:

●泄漏不是「大家都这样」,干净的训练是做得到的;

●不靠背题,也能拿到好成绩。

问题在于,单看一张成绩表,你分不出哪些分数是考出来的,哪些是默写出来的。下次看到一个漂亮的跑分,不妨先问三个问题:

1换一批没见过的题,这个分数还成立吗? 在公开考卷上接近满分、题目一改就大幅下滑,是刷榜最常见的信号。

2有没有「 发布方有没有说明,怎么确认考卷没有混进训练材料,查出来的结果如何?

3评估过程是否足够透明? 出题方式、参数、每道题的原始回答有没有公开?只给一个平均分的成绩,信息量非常有限。

这三个问题,你不必只听我们说。我们测的这些模型,你自己就能验证。

PART 07

你可以自己验证

我们测试的四个模型都是公开发布的,任何人都可以下载下来亲手试。如果你会运行大模型,只需要三步:

1像平常评测一样,先给几道带答案的示范题,再出一道考卷上的题;

2关掉「答完就停」的设置,让它答完之后继续往下写;

3看它接下来写的,是不是考卷里的下一道题。

我们会公开评估脚本,文末提供链接,大家可以动手验证。

也许你会问:这和我有什么关系?

PART 08

为什么每个人都该在意

如果你是用户:发布会上「全面领先」的那张成绩表,可能有一部分是刷出来的,甚至是默写出来的。它不代表模型在你的真实任务上有多强。

如果你是研究者:base 模型是无数后续训练和方法比较的起点。起点被污染,你以为是自己的方法带来了提升,可能只是唤醒了模型的记忆。

如果你在训练大模型:我们理解竞争的压力,发布越来越快,榜单直接关系到关注度和资源。但为了短期分数让动作变形,最终透支的是整个行业对评测的信任。分数一旦不可信,所有人真实的进步都会被一起淹没。

这也是为什么,我们把它作为「ZZ · 未至之境」的第一篇文章。

PART 09

为什么我们第一篇写这个

这是「ZZ · 未至之境」的第一篇文章。

ZZ 是 Zero Zenith。Zero 是度量的零点,一把尺子被校准好的起点;Zenith 是智能的天顶,此刻能望见的最高处。我们做评估,因为我们相信:评测立在哪里,智能就会走到哪里。

在丈量巅峰之前,先要确认尺子是准的。

这一次我们发现,尺子的零点已经偏了。

所以我们呼吁:

●模型发布时附上去污染报告,说明如何确认主流考卷没有混进训练材料;

●同时报告去污染后的分数;

●评测公开完整材料:怎么出的题、用的什么参数、每道题模型原本答了什么、得了几分,而不只是一个平均分。

这是在守住 Zero。

而公开的考卷迟早会被见过、被记住、被刷满。所以领域更需要的,是新一代的评测:持续引入未公开的新题,从设计上对记忆免疫,始终立在模型能力的边界之外。这是在推高 Zenith,也是 ZZ 接下来要做的事。

严谨起见

●我们只陈述可观测的事实:模型能在输入中没有出现的情况下,逐字写出测试题和答案。测试集是如何进入训练数据的,我们无法、也不做判断。

●检测到是强证据,检测不到不代表干净。表中的 0% 只说明这次探测没有发现。

●Anti-Hack 是保守估计:能被默写的题,即使模型本来会做,也记为 0 分。它衡量的是分数对泄漏的依赖程度,不是模型真实能力的精确值。

●后训练部分的「隐藏考点」由自动评审识别,是较强的线索,但还不是像逐字默写那样的直接证据。

我们欢迎任何机构和研究者检验、质疑这些结果。如果我们错了,我们会公开更正。这本身就是严谨测量的一部分。

技术报告:https://github.com/GAIR-NLP/Benchleaking/blob/main/Benchleaking.pdf

复现代码:https://github.com/GAIR-NLP/Benchleaking

今日之巅,明日之零;境未至,路不止。

Measure from Zero. Push the Zenith.从零丈量,推高巅峰。


本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 百度词元所上线首日:供应商增超100家,客户接入破1000家

    【环球网科技综合报道】11月14日,从百度获悉,百度词元所发布首日,新增申请入驻的供应商已超过100家,新增超过1000家客户接入。词元所在11月12日举行的百度世界2026上正式发布,百度创始人李彦宏将其称为“大模型的交易所”。据介绍,词元所一端汇聚模型和模型提供商,另一端服务企业和个人,让用户便捷地找到、购买和使.

    来源 腾讯网
  2. 阿里Qwen4-Max发布:总参数2.4T,单任务平均费用降六成

    新京报贝壳财经讯(记者罗亦丹)11月16日,阿里巴巴发布全新一代基座大模型Qwen4-Max,总参数2.4T,具备原生视觉能力,支持百万上下文。基于创新的模型架构和训练优化,Qwen4-Max以更少的Token消耗实现了更高的性能,在智能体和编程等关键能力项上持续进化:在权威的全球前端编程盲测CodeArena中,Qw

    来源 腾讯网
  3. 阿里Qwen4-Max发布:2.4T总参数仅激活71B,单任务成本降58%

    阿里巴巴11月16日发布新一代基座大模型Qwen4-Max,总参数2.4T但激活参数仅71B。新模型在前端编程盲测中位列全球第六,智能体能力评测领先。通过架构优化,其单任务平均费用较上代降低58%,缓存命中价格低至每百万Token 0.5元。目前该模型已上线千问AI平台,并在汽车制造、药物研发等场景落地,中小尺寸版本将

    来源 AI 应用前沿
  4. 暴涨889%、半年破百亿,字节阿里百度火拼新战场

    2021年,才云科技创始人张鑫投奔字节跳动,在云计算圈掀起一阵不小的波澜。 彼时的行业共识是,字节要下场啃IaaS( Infrastructure as a Service,基础设施即服务,一种云计算服务模式)这块硬骨头,直接和盘踞老大位置多年的阿里云硬碰硬。张鑫深耕容器云的背景,也被外界视作字节决心搭建“完整云版图”

    来源 AI 行业观察
  5. 阿里平头哥秘密递表港交所,百度昆仑芯年初已启动分拆

    AI算力需求爆发之际,互联网大厂加快将旗下芯片业务推向资本市场。11月10日晚间,阿里巴巴集团控股有限公司(下称“阿里巴巴”)发布公告称,全资子公司平头哥(上海)技术股份有限公司(下称“平头哥”)已于9月11日向香港联交所秘密递表,拟赴港独立上市。无独有偶,今年1月,百度旗下昆仑芯也秘密递交港股上市申请,随后...

    来源 腾讯网
  6. Fable 5.2登顶AI大模型榜:65分,27美元一次评测

    截止今日,11 月的榜有个反转:9 日 Anthropic 放出 Fable 5.2,综合指数 65,把 Gemini 4 Carbon 挤到第二。但这一分不是白拿的。图按五档排,分数取自 Artificial Analysis 的 Intelligence Index v5,收了 74 个模型、中位数 40 分。带「

    来源 腾讯网
  7. 阿里发布Qwen4并上线Qwen4-Max:Token减半、得分升近28%

    阿里巴巴11月16日正式发布全新一代基座大模型 Qwen4,千问 AI 平台首发上线 Qwen4-Max,API 服务与 Token Plan 同步开放。模型采用基于 Qwen 稀疏注意力(QSA)的全新 MoE 架构,总参数2.4T,具备原生视觉与长程任务稳定交付能力,支持百万上下文,可调用专业工

    来源 AI 开发者社区
  8. 阿里发布Qwen4,千问平台首发Qwen4-Max:Token减半、得分涨近28%

    11月16日,阿里发布新一代基座大模型Qwen4,千问AI平台首发Qwen4-Max,API与Token Plan同步开放。该模型采用Qwen稀疏注意力MoE架构,总参数2.4T,支持百万上下文、原生视觉与长程任务稳定交付,可调用工具并分阶段交付;评测中同档位较上代提升。

    来源 AI 产业速递
  9. AI写代码快,腾讯云黄辉:生产责任没消失,只是要写进系统默认值

    AI 已经能在几分钟内把一个应用的 Demo 写出来,这件事早就不新鲜了。真正悬而未决的,是这些 Demo 能不能走到生产环境,并且一直活下去。 近日在 DBTalk 数据库 AI 技术沙龙成都站上,腾讯云 PG 数据库技术专家黄辉把这个问题摆上了台面,并给出了自己的判断:AI 缩短的是代码生成的时间,不是生产工程的责

    来源 AI 行业观察
  10. llama.cpp 1.0.0 发布:150+ 模型架构支持,离线跑大模型

    IT之家 11 月 14 日消息,开发者 Georgi Gerganov(X 账号为 @ggerganov)昨日(11 月 13 日)在 X 平台发布推文,宣布开源 AI 推理项目 llama.cpp 与底层机器学习引擎 ggml 的库版本迈入 1.0.0。 IT之家查询公开资料,Gerganov 是开源项目 llam

    来源 AI 行业观察
  11. 硅谷巨头与国内大厂争相布局个人智能体:竞争逻辑生变

    不知道你最近有没有一种强烈的感觉:AI行业打架的姿势,悄悄变了。 过去两年多,大家打开任何一家大厂的发布会,满屏都是熟悉的名词:MMLU跑分又涨了两个点、数学竞赛金牌水准、支持100万上下文、代码生成速度翻倍。 但到了最近这几个月,战火突然烧到了一个新词上——Personal Agent(个人智能体)。 Meta在 2

    来源 AI 行业观察
  12. 谷歌 Gemini4Carbon 入驻 WorkBuddy,百万 Token 上下文向 Pro 用户开放

    腾讯 WorkBuddy 国际版于11月15日宣布正式接入谷歌 Gemini4Carbon 大模型,面向复杂推理和长周期任务处理场景提供模型支持,目前仅向 Pro 计划用户开放。 Gemini4Carbon 是谷歌面向长周期智能体工作流推出的模型,适用于复杂知识工作、软件工程、网络安全及科学推理等任

    来源 AI 开发者社区
  13. 腾讯WorkBuddy接入Gemini4Carbon:百万Token上下文向Pro用户开放

    腾讯WorkBuddy国际版11月15日宣布接入谷歌Gemini4Carbon大模型,面向复杂推理和长周期任务,目前仅向Pro计划用户开放。该模型面向长周期智能体工作流,适用于复杂知识工作、软件工程、网络安全及科学推理,支持文本、图像、音频和视频多模态输入,输入输出合计上下文窗口最高达100万Token。

    来源 AI 产业速递
  14. AI应用商业化提速:游戏产业研发运营环节受益

    【AI应用商业化提速 游戏产业投资机遇凸显】财联社11月14日电,近期,人工智能(AI)技术向应用端落地的步伐明显加快,游戏产业作为数字内容的重要阵地,正迎来技术赋能与产业升级交汇的关键节点。随着生成式AI及大模型能力的持续跃升,AI技术正逐步深入游戏研发、内容生产及运营推广等核心环节。业内人士认为,凭借高度数...

    来源 腾讯网
  15. 40核老服务器无显卡跑通2.8万亿参数Kimi K3,傲腾内存成关键

    在人工智能参数规模不断膨胀的今天,动辄数万亿参数的巨型大模型往往需要依靠昂贵的高端显卡集群才能驱动。然而,近日有玩家在社区分享了一次极具极客精神的极限测试:他仅凭一台没有插显卡、搭载40核处理器的老旧服务器,竟然成功让月之暗面的2.8万亿参数大模型 Kimi K3运行了起来。 挑战硬件极限:巨型大模型遇上老旧服务器 作

    来源 AI 开发者社区
  16. OpenAI董事警告:AI“接管”社会可能仅剩数月

    OpenAI董事会成员、AI安全研究者近日发出严厉警告:从AI的“奖励黑客”行为到潜在的人类灭绝,路径可能比公众想象得更短,社会被AI“接管”的时间窗口甚至可能只剩数月。随着大模型与自主智能体能力快速跃升,目标错位与对齐失败正从学术讨论变为迫在眉睫的现实挑战。

    来源 AI 科技快讯
  17. 百望股份CEO王强宇:AI财税产品如何落到任务链上

    企业把大模型接进产品之后,新的经营问题才刚刚展开。客户提出一项任务,系统能拿到哪些信息,由谁核准结果,出现例外时如何处理,都会影响AI能否持续投入使用。产品演示中的能力,需要经由完整的服务过程才能转化为客户价值。 王强宇出任百望股份首席执行官(CEO),为观察这项变化提供了一个具体切口:王强宇如何将百望的财税场景积累转

    来源 AI 行业观察
  18. NICT OptiMer:不重训模型,如何快速锁定最优数据配比?

    大模型训练中,数据配比调优通常意味着昂贵的从头重训。日本信息通信研究机构(NICT)团队在EMNLP 2026获奖论文中提出OptiMer方法,通过合并“分布向量”来搜索最优数据比例。该方法将试错效率提升15至35倍,且在C-Eval、MMLU等基准测试中得分高于传统混合训练。文章解析了其技术原理、实验效果及在构建日语

    来源 AI 应用前沿
  19. 腾讯混元Hy4 flash发布:224B参数,张军称性价比最高

    【TechWeb】11月16日消息,今日,腾讯混元最新语言模型Hy4 flash正式发布。腾讯公司公关总监张军在社交平台发文称,“这是迄今为止性价比最高的混元模型。”混元Hy4 flash每百万Token输入0.5元、输出2元,命中缓存时仅需0.02元,价格相比Hy4大幅降低。该模型总参数量为224B(其中64B En

    来源 腾讯网
向下滚动自动加载更多