AI训练数据加噪声反而学得更好,EDEN方法登论文
你有没有想过,让一个人反复做同一件事,他会越做越熟练,还是越做越死板?这个问题放在AI训练里特别有意思。现在教AI做数学题的主流方法,是让它针对同一道题生成好几个答案,然后根据对错给打分,分数高的答案就多鼓励它往那个方向走。听起来挺合理,但这里藏着一个麻烦事:如果AI生成的这几个答案长得几乎一模一样,这套...
一个人反复做同一件事,是越做越熟练,还是越做越死板?这个问题放到AI训练里,答案挺耐人寻味。
眼下教AI做数学题,主流做法是让它对同一道题生成好几个答案,再按对错打分,分高的答案就多鼓励它往那个方向走。听着合理,麻烦却藏在后面:AI生成的这几个答案要是几乎一模一样,这套打分机制就彻底失灵了。
这篇论文要解决的就是这件事。研究者给自己的方法起名EDEN,听着像伊甸园,实际是“嵌入空间定向探索与锚定噪声”的缩写。思路挺巧:与其让AI多生成答案,不如在生成之前往输入里加一点点扰动,让AI换个稍微不同的起点去想问题。
**问题到底卡在哪儿**
先看现在训练AI做数学题的标准做法。
研究人员用的算法叫
GRPO
具体是这样操作的:给AI一道数学题,让它生成比如16个不同的答案,每个答案做对给1分,做错给0分,然后看这16个答案里谁的分数高于平均分,就多奖励一点,低于平均分就少奖励一点。这个相对高低的差值,叫做“
问题就来了。这16个答案里,AI给出的全对,或者全错,会怎么样?
答案是:
因为
这不是危言耸听。论文里提到,随着训练推进,AI的“
研究者还提到一个更扎心的现象:有些实验显示,把采样数量k拉得很大时,AI能答对的题目覆盖率(术语叫
面对这个问题,业界已经有不少补救方案,比如调高生成时的“温度”参数让答案更随机,或者给训练目标加一个鼓励多样性的奖励项,还有调整裁剪范围的方法。这些手段有个共同的局限:它们都是在“生成之后”或者“更新策略时”做调整,没碰生成答案这个源头本身。
论文作者反其道而行:既然问题出在生成的答案太像,那为什么不直接从生成的起点上做点手脚?
**往输入里加点“定向的噪音”**
EDEN的核心操作其实不复杂。正常情况下,AI看到一道题的文字,会把这段文字转换成一串数字向量(这个过程叫
嵌入:把文字转换成一串数字向量的过程,AI理解语言靠的就是这串数字,而不是直接“认字”。
EDEN 的做法是:把题目文字转成向量序列以后,在末尾接上一个额外位置,这个位置装的并非题目内容,而是一个被扰动过的向量。比方说,题目是“小明3乘以4乘以2等于多少”,通常 AI 看到这句话会直接动笔算。EDEN 等于在这句话后头悄悄放了一块看不见的提示牌,牌上的字糊成一团、还带噪点;AI 读完题,再瞄一眼这块模糊的牌子,才着手生成答案。
这个模糊的提示牌从哪来?论文里设计了两个关键部件:一个是“
锚点
高斯噪声
锚点
这里要追问一句:为什么不能只用噪声、不用锚点?或者反过来,只用锚点不加噪声?
论文专门设置了对照实验来回答这个问题。去掉噪声、只留锚点,就等于每次都朝同一个方向挪同样的距离,性能随即掉回到完全不做改动的水平。
这组对比说明的道理其实很直白:一组本该相似的训练样本如果各自朝完全不同的方向乱跑,组内差异就会大到让训练信号本身都不可靠;好比一支本该统一行动的队伍,人人各走各的,队伍“平均位置”这个概念也就没意义了。
再举个具体的例子。假设你是摄影课老师,让全班同学拍同一个静物,但为了照片有变化,要求每人先往左或往右挪半步再按快门。要是所有人都朝同一侧挪(这就是锚点的作用),照片会呈现一致的视角偏移,仍看得出是同一静物的不同角度。可要是让每个学生随便朝任意方向挪三米(没有锚点、纯噪声),有人跑到了墙后头,有人对着天花板,这些照片压根没法摆在一起比较,“这组照片的平均效果”也就无从谈起。反过来,如果谁都不许动(没有噪声,只有一个固定锚点),那所有人拍出来的其实还是同一张照片,新视角一点都没多出来。EDEN 干的正是这件事:让全班朝大致相同的方向挪,但每个人挪的步子略有差别,变化有了,变化之间的可比性也保住了。
**怎么把这些“带噪音”的答案用起来**
扰动归扰动,关键问题是:这些带了噪音的答案质量参差不齐,直接一股脑全部拿去训练,会不会把模型带偏?
论文的答案是设计了一套筛选和降权机制。
EDEN的做法并非给每道题都额外生成大量加噪答案,总生成数量其实没变。原来16个答案全部来自标准生成,如今改为12个标准答案加4个加噪答案。这4个加噪答案生成出来后,也不会一股脑拿去训练。系统会把整个训练批次里所有题目产出的加噪答案放到一起比较,只保留“优势”绝对值排在前50%的那部分。
为什么按绝对值排序,而不是只挑优势为正的?论文对此给了一段很细的数学分析:一组二元打分(对或错)的答案里,如果多数答案做对、少数做错,那个做错的答案反而会拿到数值更大的负优势;反过来,多数做错、少数做对时,做对的那个答案会得到更大的正优势。也就是说,按绝对值挑,天然会优先选中那些“打破多数一致意见”的少数答案,而这些恰恰是信息量最大的训练样本。
筛选之后还有一道工序:被选中的加噪答案参与训练更新时,其优势值要乘上一个小于1的系数,相当于打个折扣。原因在于,这些答案是在“被扰动过的输入”条件下生成的,而真正要训练、未来要用的模型面对的是“干净的、没有扰动的输入”,两者之间存在条件不匹配。打折等于告诉模型“这个答案的参考价值要打折扣,别太当真”。
这套设计让人联想到团队管理里常见的一种做法:公司想收集打破常规的创意,于是成立“头脑风暴特别小组”,允许成员说一些天马行空、未经严格验证的点子。可这些点子直接拿来当正式决策是危险的,所以公司通常会先筛选一遍,挑出真正有价值的几条,再以“建议”而非“决议”的身份提交给正式团队参考,权重上天然要打个折扣。若不这样处理,直接把头脑风暴小组所有未经验证的想法当成正式决策执行,公司很可能被一些不靠谱的点子带到坑里。EDEN对加噪答案的处理,本质上就是这种“建议而非决议”的权重分配智慧。
**训练稳定性的隐藏陷阱**
这里还有个技术细节值得说一说,因为它揭示了一个容易被忽略的坑。
论文发现,如果一开始就用很强的噪声强度去生成加噪答案,训练很快就会崩掉,梯度范数会飙升到天文数字,最后直接出现数值错误(
解决方案是引入一个
采样温度
这个设计的必要性在对照实验里体现得很直接:如果去掉这个渐进式的
学游泳也是这个道理。谁也不会把一个完全不会水的人直接推进深水区,通常都是让他在浅水区先适应水性,再慢慢往深处去。一上来就把人丢进最深、最复杂的水域(相当于直接用高温度),多半不是学会游泳,而是直接溺水出局,论文里观察到的训练崩溃正是这种情况。温度调度这个设计,说到底就是为AI的“冒险尝试”安排了一个由浅入深的适应过程。
**结果到底好在哪**
说了这么多设计细节,回到最核心的问题:这套方法真的管用吗?
论文测试了三种规模的模型,小到5亿参数,大到70亿参数的中等模型,都在覆盖范围内;测试任务是数学推理题,题目涵盖从小学算术难度的
下面这几组数字,是整篇论文最直接的证据。
| 评测指标 | 方法 | MATH |
|---|---|---|---|---|---|---|---|---|
| Pass@1 | GRPO基线 | 76.60 | 86.35 | 53.01 | 40.50 | 64.94 | **31.99** | 58.90 |
| Pass@1 | EDEN | **77.40** | 86.28 | **63.86** | **41.84** | **67.01** | 31.62 | **61.34** |
| Pass@8 | GRPO基线 | 86.60 | 94.92 | 69.88 | 55.34 | 77.14 | 41.54 | 70.90 |
| Pass@8 | EDEN | **89.60** | **95.60** | **79.52** | **55.93** | **78.96** | **44.12** | **73.96** |
Pass@1和Pass@8:Pass@k是指让AI针对同一道题生成k个答案,只要其中有一个答案做对,就算这道题“过关”。Pass@1相当于只给一次机会,Pass@8相当于给八次机会挑一个对的出来。
从这组1.5B参数规模模型的数据能看出,EDEN在平均分上超过GRPO基线2.44个百分点(Pass@1)和3.06个百分点(Pass@8)。单看
到了70亿参数规模的模型上,趋势同样成立。论文还专门测了一个更极端的场景,这点更有意思:把采样数量提高到256次,看的就是在超大采样预算下,模型究竟能不能覆盖到更多正确解法。结果是,在
这组数字说明了挺关键的一点:EDEN的好处并不只是让AI“偶尔撞对”一次答案,它实打实扩大了AI能够触及的正确解法范围;哪怕给到256次机会,这个优势也还在,并没有因为采样次数增加而被摊薄。
论文还做了一张很直观的可视化图,专门统计AIME题目里那些被答对的解法究竟走了多少条不同的推理路径。数据显示,经过EDEN训练的模型,在答对的题目中,用4种及以上不同解法拿下的数量明显变多,只靠单一解法攻克的题目则相应减少,整体正确答案数量提高了15.8%。
**多生成几个答案,并不是万能药**
读到这里难免会冒出一个念头:既然症结在于答案长得太像,那让AI每道题多生成几个答案不就行了?比如从16个提到32个。
研究者同样考虑过这条路,还专门设了对照实验。可结果并不理想:GRPO的生成数量从8个加到32个,Pass@1只涨了0.5个百分点,Pass@8反倒略有下滑。
这个结果多少让人有点扎心。计算资源翻了四倍去多产答案,换来的收益却几乎可以忽略不计。
论文对此的解释是,不管生成8个、16个还是32个答案,训练跑到200步上下,AI产出答案的多样性(用熵来衡量)都会收敛到差不多的低水平。反观用上EDEN之后,模型在训练后期始终保持比任何一种GRPO配置都更高的熵。
打个比方,一家公司想激发员工创意,办法是多招几个性格、背景都差不多的新人进来。结果这些新人很快被团队原有的工作习惯同化,拿出的想法跟老员工几乎没差。不改变招人的筛选标准,光靠堆人数,团队的思维惯性照样会把新人磨成和老员工一个模子。真正能带来新鲜血液的做法,是有意引入一些背景不同、思维习惯也不同的人——这正对应EDEN往输入端注入定向扰动的思路,而不是简单堆人头。
**看着有用、实际没用的那些招**
论文还顺带验证了几种常见的“扩大探索范围”手段,效果都赶不上EDEN。
比如调高
再比如,直接给训练目标加一个更大的熵奖励,让模型主动偏向生成更多样的答案。论文对比了系数从0.001加到0.005的情形,熵确实上去了,可验证集准确率在熵奖励系数变大时反而往下掉。也就是说,硬逼模型随机,并不等于让它探索出有价值的解法,这完全是两码事。
另有一种叫“
**噪声比例同样有讲究**
论文还试过把加噪答案的比例从25%提到50%,看会发生什么。
结果显示,50%这个比例的表现几乎和完全不加噪的GRPO持平,效果最好的配置是25%。
这背后的道理不难想明白:一半答案都带着扰动,留给模型学习“正常、可靠”解题路径的标准答案就只剩一半,训练信号的稳定性会被稀释。好比往咖啡里加糖,少量糖能提味,可糖和咖啡各占一半,喝起来就不是咖啡而是糖水了,咖啡原本的风味反倒被盖住。
**写在后面**
通读这篇论文,最让我意外的其实是研究者选择下手干预的位置。
眼下多数改进训练效果的论文,不是在改打分规则,就是在改采样策略。很少有人想到直接往模型的输入向量里悄悄塞一个带噪声的词向量,而且只加在一个位置上,加完以后后面怎么生成完全不管,全凭模型自己顺着这点扰动自由发挥。这种“只改一个起点,剩下交给模型自己跑”的路子,比我预想的要简单粗暴,效果却扎实得出人意料。
还有个细节值得单独拎出来说。论文提到,哪怕在强化学习训练开始之前,也就是拿一个完全没训练过的原始模型,只要加上这种锚定噪声去生成答案,正确答案在“表达方式”上的分散程度就已经比标准生成的答案高出大约1.6倍。可见扰动带来的多样性并不需要等训练过程去“教”,它本来就是输入扰动自带的属性,训练只是把这份现成的多样性转成了实际可用的学习信号。这有点像说,钥匙一直就搁在锁眼边上,只是过去没人想到去转一下。
论文还留了一个开放问题:目前的噪声锚点库是提前筛好、训练全程固定不变的,如果让这个库本身随训练动态调整,或者和模型参数联合优化,会不会探索出更有针对性的方向?论文自己也承认这一点尚未解决,留给了后续研究者。
一个模型在没人盯着的时候,悄悄往自己脑子里塞了点杂音,然后发现自己好像想得更开了。这事怎么听都挺值得琢磨。
Q&A
Q1:EDEN是什么?
A:EDEN 是“嵌入空间定向探索与锚定噪声”的缩写,本质是一套训练手段,用来提升 AI 做数学推理时的表现。它的关键操作,是在模型给出答案之前,朝输入向量中掺入少量带方向性的噪声,让一部分回答从略有差异的起点开始生成,答案的多样性也就随之提高。
Q2:EDEN和直接增加生成答案数量有什么区别?
论文对此做过对比:把GRPO的生成数量从8个加到32个,准确率几乎没有变化,答案多样性同样很快收敛到很低的水平。EDEN则不同,它不增加总生成数量,而是往输入里加锚定噪声,训练后期多样性一直保持得更高,效果明显更好。
Q3:EDEN会不会让训练变得不稳定?
噪声强度如果一开始就调得很高,训练确实会崩,梯度飙升,甚至出现数值错误。论文给出的办法是用温度调度:训练初期把噪声随机性调低,随着训练步数增加再逐步提升,探索效果保住了,训练崩溃也避开了。