AI训练数据加噪声反而学得更好,EDEN方法登论文

资讯 腾讯网 作者:科技行者 全文 5750 字 · 约 15 分钟读完 分类数据

你有没有想过,让一个人反复做同一件事,他会越做越熟练,还是越做越死板?这个问题放在AI训练里特别有意思。现在教AI做数学题的主流方法,是让它针对同一道题生成好几个答案,然后根据对错给打分,分数高的答案就多鼓励它往那个方向走。听起来挺合理,但这里藏着一个麻烦事:如果AI生成的这几个答案长得几乎一模一样,这套...

一个人反复做同一件事,是越做越熟练,还是越做越死板?这个问题放到AI训练里,答案挺耐人寻味。

眼下教AI做数学题,主流做法是让它对同一道题生成好几个答案,再按对错打分,分高的答案就多鼓励它往那个方向走。听着合理,麻烦却藏在后面:AI生成的这几个答案要是几乎一模一样,这套打分机制就彻底失灵了。

这篇论文要解决的就是这件事。研究者给自己的方法起名EDEN,听着像伊甸园,实际是“嵌入空间定向探索与锚定噪声”的缩写。思路挺巧:与其让AI多生成答案,不如在生成之前往输入里加一点点扰动,让AI换个稍微不同的起点去想问题。

**问题到底卡在哪儿**

先看现在训练AI做数学题的标准做法。

研究人员用的算法叫

GRPO

具体是这样操作的:给AI一道数学题,让它生成比如16个不同的答案,每个答案做对给1分,做错给0分,然后看这16个答案里谁的分数高于平均分,就多奖励一点,低于平均分就少奖励一点。这个相对高低的差值,叫做“

问题就来了。这16个答案里,AI给出的全对,或者全错,会怎么样?

答案是:

因为

这不是危言耸听。论文里提到,随着训练推进,AI的“

研究者还提到一个更扎心的现象:有些实验显示,把采样数量k拉得很大时,AI能答对的题目覆盖率(术语叫

面对这个问题,业界已经有不少补救方案,比如调高生成时的“温度”参数让答案更随机,或者给训练目标加一个鼓励多样性的奖励项,还有调整裁剪范围的方法。这些手段有个共同的局限:它们都是在“生成之后”或者“更新策略时”做调整,没碰生成答案这个源头本身。

论文作者反其道而行:既然问题出在生成的答案太像,那为什么不直接从生成的起点上做点手脚?

**往输入里加点“定向的噪音”**

EDEN的核心操作其实不复杂。正常情况下,AI看到一道题的文字,会把这段文字转换成一串数字向量(这个过程叫

嵌入:把文字转换成一串数字向量的过程,AI理解语言靠的就是这串数字,而不是直接“认字”。

EDEN 的做法是:把题目文字转成向量序列以后,在末尾接上一个额外位置,这个位置装的并非题目内容,而是一个被扰动过的向量。比方说,题目是“小明3乘以4乘以2等于多少”,通常 AI 看到这句话会直接动笔算。EDEN 等于在这句话后头悄悄放了一块看不见的提示牌,牌上的字糊成一团、还带噪点;AI 读完题,再瞄一眼这块模糊的牌子,才着手生成答案。

这个模糊的提示牌从哪来?论文里设计了两个关键部件:一个是“

锚点

高斯噪声

锚点

这里要追问一句:为什么不能只用噪声、不用锚点?或者反过来,只用锚点不加噪声?

论文专门设置了对照实验来回答这个问题。去掉噪声、只留锚点,就等于每次都朝同一个方向挪同样的距离,性能随即掉回到完全不做改动的水平。

这组对比说明的道理其实很直白:一组本该相似的训练样本如果各自朝完全不同的方向乱跑,组内差异就会大到让训练信号本身都不可靠;好比一支本该统一行动的队伍,人人各走各的,队伍“平均位置”这个概念也就没意义了。

再举个具体的例子。假设你是摄影课老师,让全班同学拍同一个静物,但为了照片有变化,要求每人先往左或往右挪半步再按快门。要是所有人都朝同一侧挪(这就是锚点的作用),照片会呈现一致的视角偏移,仍看得出是同一静物的不同角度。可要是让每个学生随便朝任意方向挪三米(没有锚点、纯噪声),有人跑到了墙后头,有人对着天花板,这些照片压根没法摆在一起比较,“这组照片的平均效果”也就无从谈起。反过来,如果谁都不许动(没有噪声,只有一个固定锚点),那所有人拍出来的其实还是同一张照片,新视角一点都没多出来。EDEN 干的正是这件事:让全班朝大致相同的方向挪,但每个人挪的步子略有差别,变化有了,变化之间的可比性也保住了。

**怎么把这些“带噪音”的答案用起来**

扰动归扰动,关键问题是:这些带了噪音的答案质量参差不齐,直接一股脑全部拿去训练,会不会把模型带偏?

论文的答案是设计了一套筛选和降权机制。

EDEN的做法并非给每道题都额外生成大量加噪答案,总生成数量其实没变。原来16个答案全部来自标准生成,如今改为12个标准答案加4个加噪答案。这4个加噪答案生成出来后,也不会一股脑拿去训练。系统会把整个训练批次里所有题目产出的加噪答案放到一起比较,只保留“优势”绝对值排在前50%的那部分。

为什么按绝对值排序,而不是只挑优势为正的?论文对此给了一段很细的数学分析:一组二元打分(对或错)的答案里,如果多数答案做对、少数做错,那个做错的答案反而会拿到数值更大的负优势;反过来,多数做错、少数做对时,做对的那个答案会得到更大的正优势。也就是说,按绝对值挑,天然会优先选中那些“打破多数一致意见”的少数答案,而这些恰恰是信息量最大的训练样本。

筛选之后还有一道工序:被选中的加噪答案参与训练更新时,其优势值要乘上一个小于1的系数,相当于打个折扣。原因在于,这些答案是在“被扰动过的输入”条件下生成的,而真正要训练、未来要用的模型面对的是“干净的、没有扰动的输入”,两者之间存在条件不匹配。打折等于告诉模型“这个答案的参考价值要打折扣,别太当真”。

这套设计让人联想到团队管理里常见的一种做法:公司想收集打破常规的创意,于是成立“头脑风暴特别小组”,允许成员说一些天马行空、未经严格验证的点子。可这些点子直接拿来当正式决策是危险的,所以公司通常会先筛选一遍,挑出真正有价值的几条,再以“建议”而非“决议”的身份提交给正式团队参考,权重上天然要打个折扣。若不这样处理,直接把头脑风暴小组所有未经验证的想法当成正式决策执行,公司很可能被一些不靠谱的点子带到坑里。EDEN对加噪答案的处理,本质上就是这种“建议而非决议”的权重分配智慧。

**训练稳定性的隐藏陷阱**

这里还有个技术细节值得说一说,因为它揭示了一个容易被忽略的坑。

论文发现,如果一开始就用很强的噪声强度去生成加噪答案,训练很快就会崩掉,梯度范数会飙升到天文数字,最后直接出现数值错误(

解决方案是引入一个

采样温度

这个设计的必要性在对照实验里体现得很直接:如果去掉这个渐进式的

学游泳也是这个道理。谁也不会把一个完全不会水的人直接推进深水区,通常都是让他在浅水区先适应水性,再慢慢往深处去。一上来就把人丢进最深、最复杂的水域(相当于直接用高温度),多半不是学会游泳,而是直接溺水出局,论文里观察到的训练崩溃正是这种情况。温度调度这个设计,说到底就是为AI的“冒险尝试”安排了一个由浅入深的适应过程。

**结果到底好在哪**

说了这么多设计细节,回到最核心的问题:这套方法真的管用吗?

论文测试了三种规模的模型,小到5亿参数,大到70亿参数的中等模型,都在覆盖范围内;测试任务是数学推理题,题目涵盖从小学算术难度的

下面这几组数字,是整篇论文最直接的证据。

| 评测指标 | 方法 | MATH |

|---|---|---|---|---|---|---|---|---|

| Pass@1 | GRPO基线 | 76.60 | 86.35 | 53.01 | 40.50 | 64.94 | **31.99** | 58.90 |

| Pass@1 | EDEN | **77.40** | 86.28 | **63.86** | **41.84** | **67.01** | 31.62 | **61.34** |

| Pass@8 | GRPO基线 | 86.60 | 94.92 | 69.88 | 55.34 | 77.14 | 41.54 | 70.90 |

| Pass@8 | EDEN | **89.60** | **95.60** | **79.52** | **55.93** | **78.96** | **44.12** | **73.96** |

Pass@1和Pass@8:Pass@k是指让AI针对同一道题生成k个答案,只要其中有一个答案做对,就算这道题“过关”。Pass@1相当于只给一次机会,Pass@8相当于给八次机会挑一个对的出来。

从这组1.5B参数规模模型的数据能看出,EDEN在平均分上超过GRPO基线2.44个百分点(Pass@1)和3.06个百分点(Pass@8)。单看

到了70亿参数规模的模型上,趋势同样成立。论文还专门测了一个更极端的场景,这点更有意思:把采样数量提高到256次,看的就是在超大采样预算下,模型究竟能不能覆盖到更多正确解法。结果是,在

这组数字说明了挺关键的一点:EDEN的好处并不只是让AI“偶尔撞对”一次答案,它实打实扩大了AI能够触及的正确解法范围;哪怕给到256次机会,这个优势也还在,并没有因为采样次数增加而被摊薄。

论文还做了一张很直观的可视化图,专门统计AIME题目里那些被答对的解法究竟走了多少条不同的推理路径。数据显示,经过EDEN训练的模型,在答对的题目中,用4种及以上不同解法拿下的数量明显变多,只靠单一解法攻克的题目则相应减少,整体正确答案数量提高了15.8%。

**多生成几个答案,并不是万能药**

读到这里难免会冒出一个念头:既然症结在于答案长得太像,那让AI每道题多生成几个答案不就行了?比如从16个提到32个。

研究者同样考虑过这条路,还专门设了对照实验。可结果并不理想:GRPO的生成数量从8个加到32个,Pass@1只涨了0.5个百分点,Pass@8反倒略有下滑。

这个结果多少让人有点扎心。计算资源翻了四倍去多产答案,换来的收益却几乎可以忽略不计。

论文对此的解释是,不管生成8个、16个还是32个答案,训练跑到200步上下,AI产出答案的多样性(用熵来衡量)都会收敛到差不多的低水平。反观用上EDEN之后,模型在训练后期始终保持比任何一种GRPO配置都更高的熵。

打个比方,一家公司想激发员工创意,办法是多招几个性格、背景都差不多的新人进来。结果这些新人很快被团队原有的工作习惯同化,拿出的想法跟老员工几乎没差。不改变招人的筛选标准,光靠堆人数,团队的思维惯性照样会把新人磨成和老员工一个模子。真正能带来新鲜血液的做法,是有意引入一些背景不同、思维习惯也不同的人——这正对应EDEN往输入端注入定向扰动的思路,而不是简单堆人头。

**看着有用、实际没用的那些招**

论文还顺带验证了几种常见的“扩大探索范围”手段,效果都赶不上EDEN。

比如调高

再比如,直接给训练目标加一个更大的熵奖励,让模型主动偏向生成更多样的答案。论文对比了系数从0.001加到0.005的情形,熵确实上去了,可验证集准确率在熵奖励系数变大时反而往下掉。也就是说,硬逼模型随机,并不等于让它探索出有价值的解法,这完全是两码事。

另有一种叫“

**噪声比例同样有讲究**

论文还试过把加噪答案的比例从25%提到50%,看会发生什么。

结果显示,50%这个比例的表现几乎和完全不加噪的GRPO持平,效果最好的配置是25%。

这背后的道理不难想明白:一半答案都带着扰动,留给模型学习“正常、可靠”解题路径的标准答案就只剩一半,训练信号的稳定性会被稀释。好比往咖啡里加糖,少量糖能提味,可糖和咖啡各占一半,喝起来就不是咖啡而是糖水了,咖啡原本的风味反倒被盖住。

**写在后面**

通读这篇论文,最让我意外的其实是研究者选择下手干预的位置。

眼下多数改进训练效果的论文,不是在改打分规则,就是在改采样策略。很少有人想到直接往模型的输入向量里悄悄塞一个带噪声的词向量,而且只加在一个位置上,加完以后后面怎么生成完全不管,全凭模型自己顺着这点扰动自由发挥。这种“只改一个起点,剩下交给模型自己跑”的路子,比我预想的要简单粗暴,效果却扎实得出人意料。

还有个细节值得单独拎出来说。论文提到,哪怕在强化学习训练开始之前,也就是拿一个完全没训练过的原始模型,只要加上这种锚定噪声去生成答案,正确答案在“表达方式”上的分散程度就已经比标准生成的答案高出大约1.6倍。可见扰动带来的多样性并不需要等训练过程去“教”,它本来就是输入扰动自带的属性,训练只是把这份现成的多样性转成了实际可用的学习信号。这有点像说,钥匙一直就搁在锁眼边上,只是过去没人想到去转一下。

论文还留了一个开放问题:目前的噪声锚点库是提前筛好、训练全程固定不变的,如果让这个库本身随训练动态调整,或者和模型参数联合优化,会不会探索出更有针对性的方向?论文自己也承认这一点尚未解决,留给了后续研究者。

一个模型在没人盯着的时候,悄悄往自己脑子里塞了点杂音,然后发现自己好像想得更开了。这事怎么听都挺值得琢磨。

Q&A

Q1:EDEN是什么?

A:EDEN 是“嵌入空间定向探索与锚定噪声”的缩写,本质是一套训练手段,用来提升 AI 做数学推理时的表现。它的关键操作,是在模型给出答案之前,朝输入向量中掺入少量带方向性的噪声,让一部分回答从略有差异的起点开始生成,答案的多样性也就随之提高。

Q2:EDEN和直接增加生成答案数量有什么区别?

论文对此做过对比:把GRPO的生成数量从8个加到32个,准确率几乎没有变化,答案多样性同样很快收敛到很低的水平。EDEN则不同,它不增加总生成数量,而是往输入里加锚定噪声,训练后期多样性一直保持得更高,效果明显更好。

Q3:EDEN会不会让训练变得不稳定?

噪声强度如果一开始就调得很高,训练确实会崩,梯度飙升,甚至出现数值错误。论文给出的办法是用温度调度:训练初期把噪声随机性调低,随着训练步数增加再逐步提升,探索效果保住了,训练崩溃也避开了。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 中国信通院人工智能研究所:个别机构假借名义开展AI数据质量评估技术服务

    2026年11月19日,中国信息通信研究院(以下简称“中国信通院”)人工智能研究所发布了《关于警惕假借中国信息通信研究院名义开展人工智能数据质量评估的声明》。声明称,近日,中国信通院人工智能研究所接到线索举报,个别机构以数据出海资质办理、数据资产入表等多种名义假借中国信息通信研究院身份宣传开展人工智能数据质...

    来源 腾讯网
  2. 数据要素×三年行动换题:从建场景转向修流通,AI才能不缺燃料

    11 月 3 日,国家发改委“奋进十五五”发布会上,国家数据局政策和规划司司长栾婕说了一句话,被很多人划过去了:“将会同相关部门谋划实施新一轮‘数据要素×’三年行动,研究制定重点行业数据流通利用指引。”上一轮,发的是“典型场景指引”。这一轮,发的是“流通利用指引”。两个词之差,考卷换了。过去三年,我们答的...

    来源 腾讯网
  3. Recapture:用合成数据解决文档AI训练的“扫描件荒”

    训练视觉语言模型时,干净的数字文档太多,真实的皱褶扫描件太少。Recapture 这个开源工具能把平整的PDF页面变成逼真的手机拍照或扫描仪图像,自动保留标注框。不用真的去打印再拍摄,就能批量生成带噪声的训练数据,解决数据集混合难题。

    来源 AI 应用前沿
  4. 谷歌AI智能体改一处代码成功率翻8倍:Harness自我优化研究

    IT之家 11 月 20 日消息,谷歌研究人员当地时间 11 月 17 日最新发表的研究论文《Harnesses That Improve Themselves》(《能够自我改进的 Harness》)显示,通过让 AI 智能体逐步修改自身运行框架,并对每次修改进行验证,可以显著提高软件工程任务的完成率。在一项 SWE-

    来源 腾讯网
  5. 只改一处代码,谷歌 AI 智能体优化 Harness 后任务成功率提升 8 倍

    IT之家 11 月 20 日消息,谷歌研究人员当地时间 11 月 17 日最新发表的研究论文《Harnesses That Improve Themselves》(《能够自我改进的 Harness》)显示,通过让 AI 智能体逐步修改自身运行框架,并对每次修改进行验证,可以显著提高软件工程任务的完成率。 在一项 SWE

    来源 AI 行业观察
  6. SpaceX 430亿AI芯片抵押融资卡壳:太空数据中心计划撞上债权人条款

    IT 之家 11 月 20 日消息,据《金融时报》今日报道,SpaceX 最新一笔以英伟达 AI 芯片为抵押的 430 亿美元(IT之家注:现汇率约合 2,877.55 亿元人民币)债务融资,正与其 CEO 埃隆 · 马斯克的太空 AI 数据中心计划产生冲突。为这笔融资提供支持的贷款方曾试图在合同中加入限制条款,禁止

    来源 腾讯网
  7. AI泔水入侵科普:南海双头虾与万张鸟类贴纸暴露知识污染风险

    AI泔水(AI Slop),正在侵蚀人类的知识世界。这个词在2025年入选《韦氏字典》年度词汇,专门用来形容由人工智能批量生产、质量低劣的数字内容。出现双头虾的《南海海洋生物科普丛书》中,绝大多数图片均由AI绘图工具生成。图片来源:澎湃新闻近日,中国农业出版社出版的《南海海洋生物科普丛书》,因出现不符合常识的“双...

    来源 腾讯网
  8. 京东押注物理AI:云数模端场链六模块,EgoLive开源2000小时数据

    产业化落地已然提速。文丨范东成作为全球广泛关注的议题,AI的发展正不断提速。在近日举行的2026年亚太经合组织(APEC)工商领导人峰会上,AI即是讨论重点。会议发布的《2026年亚太经合组织工商领导人峰会深圳倡议》提及,要推动AI开放包容、普惠向善发展,以AI促进经济发展、改善社会治理和增进民生福祉。自2022年11

    来源 腾讯网
  9. OpenAI首款AI硬件揭秘:苹果班底操刀,富士康立讯分食订单

    OpenAI确实是挖到苹果的「大后方」了。 证券时报11月19日一早就援引供应链消息指出,富士康旗下富智康集团(FIH)已经获得OpenAI手机项目订单,将参与相关产品的整机组装。事实上,前一晚每日经济新闻也援引供应链人士表示,立讯精密目前与OpenAI有多个产品的全面合作,「或因资源配置的统筹考量未承接手机组装业务。

    来源 AI 行业观察
  10. AI短剧杀疯全球:中国人还是太先进了

    短剧的竞争,本质上也是平台间的博弈,是互联网大厂商业战争的一部分。 这,是8年前的短剧,制作粗糙,内容土味。 这,是3年前的头部短剧,制作精良,剧情抓马。 这,是今年最火的AI短剧,全片无活人,但全网66亿播放。 从个人小作坊手搓,到电影工业级别制作,再到AI加持赛博飞升,短剧用8年时间,走过了影视行业花了一百多年才走

    来源 AI 行业观察
  11. HPE推ProLiant Gen13服务器:搭载第六代AMD EPYC,主打AI推理与安全

    为此,HPE以全新ProLiant Gen13服务器作出系统性回应。HPE此次推出的两款ProLiant Gen13服务器,融合HPE深厚的工程技术积淀与AMD EPYC 9006 SP7处理器的性能优势,在核心密度、内存带宽及I/O能力等方面实现进一步提升,为企业应对AI时代多元化、复杂化的计算需求提供强劲算力支持。

    来源 TechWeb
  12. HPE ProLiant Gen13上新:第六代AMD EPYC加持,面向AI推理与企业负载

    为此,HPE以全新ProLiant Gen13服务器作出系统性回应。HPE此次推出的两款ProLiant Gen13服务器,融合HPE深厚的工程技术积淀与AMD EPYC 9006 SP7处理器的性能优势,在核心密度、内存带宽及I/O能力等方面实现进一步提升,为企业应对AI时代多元化、复杂化的计算需求提供强劲算力支持。

    来源 TechWeb
  13. 从英伟达到苹果、微软:同样拥抱AI,为什么企业的财富命运截然不同?

    AI正在改变企业创造财富的方式。检索、计算、起草、核对等标准化工作,越来越多地由工具完成。技术能力的普及并不意味着企业之间的差距会消失。相反,当算力和信息更容易获得,领导者如何提出问题、配置资源、处理冲突以及确定长期目标,开始更直接地影响企业能否把技术转化为持续价值。德鲁克曾把管理与领导分开:管理是把...

    来源 腾讯网
  14. 14%收益提升!OpenAI用AI造芯,5个月完成人工1年工作量,Astra领跑

    智东西(公众号:zhidxcom)编译 | 程茜编辑 | 李水青智东西11月19日消息,刚刚,OpenAI宣布,其模型在不到五个月内,将AMD旗舰级GPU IP的PPA(芯片设计核心指标)提升高达14%,这是此前人类工程师约一整年的研发工作量。OpenAI的研究证明,在RISC-V评估任务中,模型能够探索全新处理器架构

    来源 腾讯网
  15. 吴泳铭:2027年后阿里绝大部分新增AI芯片将由平头哥和国产芯片供应

    本文来源:时代财经 11月19日,在阿里巴巴2027财年第二季度财报分析师电话会上,集团CEO吴泳铭表示,2027年之后,阿里绝大部分新增的AI芯片供给以平头哥的芯片为主,同时会从其他国内供应商采购部分芯片用于支持推理类工作任务。吴泳铭称,2027年一季度,新一代平头哥的国产芯片完全可以支持超大规模模型的训练。“随着平

    来源 腾讯网
向下滚动自动加载更多