数据不够用了:UC伯克利研究重复训练,批大小64优于512
你有没有想过,有一天互联网上的文字可能会被AI读完?这听起来像个笑话,但其实是个正在发生的真实问题。高质量的人类文本不是无限的,它增长的速度远远跟不上AI算力增长的速度。于是一个很现实的问题摆在了研究者面前:当数据用完了,模型还能不能继续训练下去?答案是可以,但得反复用同一批数据训练很多遍。这篇来自UC伯克...
有没有设想过,互联网上的文字迟早会被AI全部读完?
这听着像段子,其实是眼下的真问题。高质量的人类文本并非取之不尽,其增速远远追不上算力的扩张。研究者因此面临一个绕不开的追问:数据耗尽之后,模型还能不能接着训?能,办法是把同一批数据翻来覆去用上好多遍。UC伯克利和艾伦人工智能研究所的这篇论文,琢磨的正是这件"反复嚼同一块馍"的事,究竟怎样做才最见效。
**核心问题:数据不再无限**
过去十年,大模型训练的底层思路一句话就能说清:数据多到用不完,卡脖子的只有算力。
整个
可这个前提正在瓦解。
人类产出高质量文字的速度是有上限的——维基百科写完就那么多,学术论文一年也就那些篇,新闻稿的更新速度同样追不上GPU集群的扩张。DeepSeek、OLMo这类实验室已经不得不在同一批数据上反复训练模型,业内称其为repeated-data training(重复数据训练)。
**重复数据训练**:数据量有限时,让模型对同一批语料反复学习多轮(即多个
这篇论文站在两篇前作之上。Kim等人在2026年的研究证明,若把算力视为无限资源、只对数据量设限,那么通过调整权重衰减(
论文作者认为这里有漏洞。
批大小
**批大小存在一个最优甜蜜点,而且比你想的小得多**
传统预训练讲究什么?批大小越大越好,理由是能充分利用GPU的并行算力,训练跑得更快。GPT-2、Pythia、OLMo这些主流模型的批大小普遍落在512到2048个序列之间。
研究者却把批大小从16一路试到512,并为每个批大小单独调好学习率、权重衰减和训练轮数(
**最优点落在批大小64附近,比业界常用的512到2048小得多。**
以15亿参数的模型为例,批大小64时能把
原因何在?研究者的解释是,小批量梯度噪声提供了
打个比方:你要备考一场大考,手头只有一本教材,但可以反复复习。假如每轮复习都按一模一样的顺序、一模一样的方式过一遍书,很快你会发现自己并非在理解知识,而是把答案背了下来,合上书就什么都答不出。反过来,每轮复习都稍微随机一些——打乱章节顺序、换种方式做笔记——记住的反而成了知识本身,而非死记硬背的顺序。小批量训练带来的梯度噪声,作用就相当于这种"随机复习法":模型难以轻易记住训练数据的具体细节,只能被逼着去学更本质的规律。不这样做会怎样?研究数据给出了明确答案:批大小512的模型在训练后期,训练损失持续下降,但
**权重衰减**:一种正则化技术,每次参数更新时让权重值稍微"缩小"一点,避免模型权重变得过大,从而死记硬背训练数据。
研究者还拿这个结果去比对了业界常用的批大小预测公式,比如Bi等人2024年提出的
那批大小是不是越小越好?并非如此。研究者进一步拆开训练损失与验证损失的差距,找到一个挺有意思的平衡点:批大小太大,梯度噪声不足,会过拟合;批大小太小,优化步数太多,同样走向过拟合,只是路径不同。U形曲线两头,对应的是两种成因导致的同一个结局——学得太死。
**训练配方也要跟着重复数据的特性改**
批大小调完,研究者继续往下挖,发现还有三个业界默认、却很少针对重复数据场景专门优化的训练细节,动一动它们能带来实打实的提升。
头一个是数据呈现方式。反复训练同一批数据时,数据加载器究竟如何把文档打包成训练序列,这件事大有讲究。研究者比较了三种做法:一是序列和顺序完全固定,每个epoch一字不差地重复;二是保留序列边界、打乱序列在批次内的顺序;第三种叫
**
结果很直接:固定顺序的方式验证损失最差,打乱批次顺序有所改善,REPACK效果最好——15亿参数模型在批大小512时,验证损失从3.124进一步降到3.064。这逻辑不难懂:一本小说你重复读过吗?头一回读,你被情节牵着走,记住的是人物和故事线;可若要求你逐字背诵十遍,记住的就成了具体的字句顺序,而不是故事本身想表达的东西。REPACK好比每次重读都把章节结构重新编排一遍,逼着模型每次关注的"上下文窗口"都不一样,学到的就更贴近语言真实规律,而不是某段具体文字的死记硬背。不做REPACK的话,数据明明没变,模型见到的"排列方式"却始终雷同,等于一直从同一个角度观察同一个物体,很容易留下视觉盲区。
第二个发现跟词嵌入有关(
**
权重绑定单独拿来用,收益并不明显。可在绑定之上再对共享的嵌入参数施加权重衰减,情况就不一样了。两项措施并用,15亿参数模型在批大小64时验证损失由2.971压到2.946,批大小512时从3.064降到3.030。更关键的是,模型开始过拟合的epoch被推后了,等于多出一段继续学习的时间。
上述改进全部叠加,就构成了研究者口中的新配方"
研究者顺手查了九个主流开源训练框架(例如
**算力并非无限:GPU与时间得分开看**
前面的分析都立在一个理想前提上:算力管够,时间管够,想训多久训多久。
现实很快打破了这一前提。研究者做了外推:训一个700亿参数模型、数据池10万亿token,按前面找到的最优批大小和轮数推下去,约需3400万次优化步,配上合理并行配置,大致要6144块H100,训练时长22.6年。
数字一摆出来,问题就清楚了:几千张GPU有些实验室也许拿得出,可没人愿意等22年才见到训练结果。
研究者由此提出一个关键转向:GPU数量与训练时间应当视为两种独立资源,不能搅在一起算。
这个区分听着偏学术,实际离生活很近。装修一套房子,"工人数量"和"工期"似乎天然绑在一起,人多就快。可真不是这样:房子就那么大,塞进二十个工人互相挤,等来等去、转身都难,效率反倒下降,还不如五个人配合着干。GPU训练同理,堆更多GPU未必能线性缩短时间,卡与卡之间要通信同步,通信开销会把并行收益吃掉一块。不把这两种资源分开,就容易掉进"GPU多,那就猛加批大小把所有卡占满"的坑,而研究恰好证明这个坑真实存在。
按这个区分,研究者划出四类场景:GPU和时间都充裕(大概没人真拥有这种理想状态)、GPU有限而时间充裕(比如一些闲置或临近退役的集群)、GPU充裕而时间紧张(大厂赛跑的常态,Meta训Llama 4用了3.2万块GPU,马斯克提到Grok 3训练用了约10万块H100)、GPU和时间都有限(绝大多数实际情况)。
针对第三类"时间紧"的场景,研究者找到一条直观却常被忽略的规律:**截止时间越紧,批大小就该越大**。道理不复杂,大批次在相同步数里吞下的数据更多,冲刺阶段数据吞吐量比过拟合风险更要紧。截止时间一放宽,就该逐步转向小批次,直至回到前面找到的无约束最优批大小。
真正反直觉的结论,出在"GPU和时间都受限"这个最普遍的场景里。
按直觉,截止时间既然固定,那就该把能用的GPU全用上、批大小调大,在时限内塞进最多数据,这才叫"榨干算力",对吧?
**实验结果把这个直觉直接推翻了。**
论文给了一个具体案例:15亿参数模型,时限32000步,用16块GPU、小批次训练,验证损失反而低于用64块GPU、大批次训练。也就是说,同样的截止时间,GPU用得少,结果却更好。好比一场限时考试,有人建议雇四个人同时帮你答题,图的是又快又全,可题目要的是深度思考而不是堆人力,四个人同时下笔互相干扰、思路打乱,一个人安静专注地答,分数可能更高。GPU集群堆得越大,数据并行度越高,相当于一次塞进更多"学生"同时答题,看着效率很高,可对这个任务来说,牺牲掉的是模型本该享有的、来自小批次训练的
这个发现直接顶上了业界一个根深蒂固的习惯:一到截止日期就先加GPU、扩大并行度。论文说得很明确,在重复数据训练的场景下,这个做法可能是错的。
研究者还给了另一条路:GPU真多到用不完,除了拿去扩大批大小,也可以拿去压训练延迟,也就是用更激进的
**
**流水线并行**:按层把模型切成几段,分给不同GPU,像工厂流水线那样接力处理数据。
论文的模拟数据显示,15亿参数规模下,微批大小从吞吐量最优的8降到1,代价是8倍GPU,训练时间可压缩2.7倍,验证损失保持不变。外推到700亿参数场景,8倍模型并行度带来3.75倍加速,过了这个点再加并行度也不会更快,通信开销开始反噬收益。这部分研究者标明是模拟推演、并非实测,态度相当谨慎。
**数据池越大,规则跟着变**
研究者没有停在单一数据规模上,把实验扩到三个不同大小的数据池:3.33亿、10亿和30亿token。
结果看,数据池越大最佳验证损失越低,这不出奇。更该留意的是,数据池变大后最优配置本身也在挪动:**批大小该调大,训练轮数的最优点也会后移**。逻辑很直白,池子更大,每轮见到的信息更丰富,过拟合来得更晚,自然扛得住更大的批次和更多重复轮数,不至于提前"学傻"。
这其实也提醒了一件事:不存在放之四海皆准的"最优配方"。训练配置得随手头数据规模走,数据多和数据少,打法不一样。
最后说几句。
论文读完,真正让我停下来想的不是某个技术细节,而是它照出的一种研究惯性。过去场景里验证过的最优解,我们习惯直接搬到新场景里用,前提条件变了也很少回头问一句:当年这个解成立的理由,现在还成立吗?
批大小就是个典型。业界用大批次训练了十几年,逻辑是数据无限、算力是瓶颈,得把每块GPU的吞吐量榨干。单遍训练的世界里,这套逻辑没毛病。可换到数据有限、必须反复训练的世界,原本被当成噪声、要尽量抹平的小批次梯度扰动,反倒成了对抗过拟合的武器。优点成了缺点,缺点成了优点,前提一翻,整套逻辑跟着翻面。同一个变量在不同约束下角色互换,这种事很多领域都有,只是我们很少去重新审一审最初那个前提还站不站得住。
另一处让我反复琢磨的,是把GPU和时间拆成两种资源来看。看着像工程细节,背后其实是一种更一般的方法论:资源不是单维的。把一个笼统的算力概念拆成互相独立、有时还互相制约的多个维度,常能挖出被笼统视角遮住的次优选择。很多“资源越多结果越好”的直觉,或许都值得这样拆开重验一遍。
论文里那个外推场景摆着:700亿参数、10万亿token、22.6年训练时间。数字搁在那儿,冲击力不小。数据枯竭不再是遥远的理论问题,它已经逼近到能具体算出来的工程约束了。
那下一个问题自然冒出来:等重复训练也挖到极限那天,人类社会还能拿出什么新鲜数据,喂给越来越饥渴的模型?
Q&A
重复数据预训练里批大小怎么选?研究发现批大小有一条U形最优曲线,最佳点在64附近,远低于业界常用的512到2048。原因是小批次梯度噪声能起到隐式正则化作用,把过拟合往后推;但批大小太小,优化步数过多,过拟合反而来得更早。
GPU数量和训练时间为什么要分开算?因为多堆GPU不一定能线性缩短训练时间。实验证明,固定截止时间下,用更少GPU配更小批大小训练,验证损失比用更多GPU扩大批大小还低。盲目堆GPU拉并行度,可能是次优选择。
REPACK和权重绑定这些技巧到底改善了什么?REPACK每轮重新打包文档,生成全新的训练序列;权重绑定加上嵌入层权重衰减,能进一步推迟过拟合。两者结合,15亿参数模型的最佳训练轮数从20轮拉到32轮,验证损失和下游任务表现都有提升。