数据不够用了:UC伯克利研究重复训练,批大小64优于512

资讯 腾讯网 作者:腾讯网 全文 5096 字 · 约 13 分钟读完 分类算力

你有没有想过,有一天互联网上的文字可能会被AI读完?这听起来像个笑话,但其实是个正在发生的真实问题。高质量的人类文本不是无限的,它增长的速度远远跟不上AI算力增长的速度。于是一个很现实的问题摆在了研究者面前:当数据用完了,模型还能不能继续训练下去?答案是可以,但得反复用同一批数据训练很多遍。这篇来自UC伯克...

所属频道 算力与芯片

有没有设想过,互联网上的文字迟早会被AI全部读完?

这听着像段子,其实是眼下的真问题。高质量的人类文本并非取之不尽,其增速远远追不上算力的扩张。研究者因此面临一个绕不开的追问:数据耗尽之后,模型还能不能接着训?能,办法是把同一批数据翻来覆去用上好多遍。UC伯克利和艾伦人工智能研究所的这篇论文,琢磨的正是这件"反复嚼同一块馍"的事,究竟怎样做才最见效。

**核心问题:数据不再无限**

过去十年,大模型训练的底层思路一句话就能说清:数据多到用不完,卡脖子的只有算力。

整个

可这个前提正在瓦解。

人类产出高质量文字的速度是有上限的——维基百科写完就那么多,学术论文一年也就那些篇,新闻稿的更新速度同样追不上GPU集群的扩张。DeepSeek、OLMo这类实验室已经不得不在同一批数据上反复训练模型,业内称其为repeated-data training(重复数据训练)。

**重复数据训练**:数据量有限时,让模型对同一批语料反复学习多轮(即多个

这篇论文站在两篇前作之上。Kim等人在2026年的研究证明,若把算力视为无限资源、只对数据量设限,那么通过调整权重衰减(

论文作者认为这里有漏洞。

批大小

**批大小存在一个最优甜蜜点,而且比你想的小得多**

传统预训练讲究什么?批大小越大越好,理由是能充分利用GPU的并行算力,训练跑得更快。GPT-2、Pythia、OLMo这些主流模型的批大小普遍落在512到2048个序列之间。

研究者却把批大小从16一路试到512,并为每个批大小单独调好学习率、权重衰减和训练轮数(

**最优点落在批大小64附近,比业界常用的512到2048小得多。**

以15亿参数的模型为例,批大小64时能把

原因何在?研究者的解释是,小批量梯度噪声提供了

打个比方:你要备考一场大考,手头只有一本教材,但可以反复复习。假如每轮复习都按一模一样的顺序、一模一样的方式过一遍书,很快你会发现自己并非在理解知识,而是把答案背了下来,合上书就什么都答不出。反过来,每轮复习都稍微随机一些——打乱章节顺序、换种方式做笔记——记住的反而成了知识本身,而非死记硬背的顺序。小批量训练带来的梯度噪声,作用就相当于这种"随机复习法":模型难以轻易记住训练数据的具体细节,只能被逼着去学更本质的规律。不这样做会怎样?研究数据给出了明确答案:批大小512的模型在训练后期,训练损失持续下降,但

**权重衰减**:一种正则化技术,每次参数更新时让权重值稍微"缩小"一点,避免模型权重变得过大,从而死记硬背训练数据。

研究者还拿这个结果去比对了业界常用的批大小预测公式,比如Bi等人2024年提出的

那批大小是不是越小越好?并非如此。研究者进一步拆开训练损失与验证损失的差距,找到一个挺有意思的平衡点:批大小太大,梯度噪声不足,会过拟合;批大小太小,优化步数太多,同样走向过拟合,只是路径不同。U形曲线两头,对应的是两种成因导致的同一个结局——学得太死。

**训练配方也要跟着重复数据的特性改**

批大小调完,研究者继续往下挖,发现还有三个业界默认、却很少针对重复数据场景专门优化的训练细节,动一动它们能带来实打实的提升。

头一个是数据呈现方式。反复训练同一批数据时,数据加载器究竟如何把文档打包成训练序列,这件事大有讲究。研究者比较了三种做法:一是序列和顺序完全固定,每个epoch一字不差地重复;二是保留序列边界、打乱序列在批次内的顺序;第三种叫

**

结果很直接:固定顺序的方式验证损失最差,打乱批次顺序有所改善,REPACK效果最好——15亿参数模型在批大小512时,验证损失从3.124进一步降到3.064。这逻辑不难懂:一本小说你重复读过吗?头一回读,你被情节牵着走,记住的是人物和故事线;可若要求你逐字背诵十遍,记住的就成了具体的字句顺序,而不是故事本身想表达的东西。REPACK好比每次重读都把章节结构重新编排一遍,逼着模型每次关注的"上下文窗口"都不一样,学到的就更贴近语言真实规律,而不是某段具体文字的死记硬背。不做REPACK的话,数据明明没变,模型见到的"排列方式"却始终雷同,等于一直从同一个角度观察同一个物体,很容易留下视觉盲区。

第二个发现跟词嵌入有关(

**

权重绑定单独拿来用,收益并不明显。可在绑定之上再对共享的嵌入参数施加权重衰减,情况就不一样了。两项措施并用,15亿参数模型在批大小64时验证损失由2.971压到2.946,批大小512时从3.064降到3.030。更关键的是,模型开始过拟合的epoch被推后了,等于多出一段继续学习的时间。

上述改进全部叠加,就构成了研究者口中的新配方"

研究者顺手查了九个主流开源训练框架(例如

**算力并非无限:GPU与时间得分开看**

前面的分析都立在一个理想前提上:算力管够,时间管够,想训多久训多久。

现实很快打破了这一前提。研究者做了外推:训一个700亿参数模型、数据池10万亿token,按前面找到的最优批大小和轮数推下去,约需3400万次优化步,配上合理并行配置,大致要6144块H100,训练时长22.6年。

数字一摆出来,问题就清楚了:几千张GPU有些实验室也许拿得出,可没人愿意等22年才见到训练结果。

研究者由此提出一个关键转向:GPU数量与训练时间应当视为两种独立资源,不能搅在一起算。

这个区分听着偏学术,实际离生活很近。装修一套房子,"工人数量"和"工期"似乎天然绑在一起,人多就快。可真不是这样:房子就那么大,塞进二十个工人互相挤,等来等去、转身都难,效率反倒下降,还不如五个人配合着干。GPU训练同理,堆更多GPU未必能线性缩短时间,卡与卡之间要通信同步,通信开销会把并行收益吃掉一块。不把这两种资源分开,就容易掉进"GPU多,那就猛加批大小把所有卡占满"的坑,而研究恰好证明这个坑真实存在。

按这个区分,研究者划出四类场景:GPU和时间都充裕(大概没人真拥有这种理想状态)、GPU有限而时间充裕(比如一些闲置或临近退役的集群)、GPU充裕而时间紧张(大厂赛跑的常态,Meta训Llama 4用了3.2万块GPU,马斯克提到Grok 3训练用了约10万块H100)、GPU和时间都有限(绝大多数实际情况)。

针对第三类"时间紧"的场景,研究者找到一条直观却常被忽略的规律:**截止时间越紧,批大小就该越大**。道理不复杂,大批次在相同步数里吞下的数据更多,冲刺阶段数据吞吐量比过拟合风险更要紧。截止时间一放宽,就该逐步转向小批次,直至回到前面找到的无约束最优批大小。

真正反直觉的结论,出在"GPU和时间都受限"这个最普遍的场景里。

按直觉,截止时间既然固定,那就该把能用的GPU全用上、批大小调大,在时限内塞进最多数据,这才叫"榨干算力",对吧?

**实验结果把这个直觉直接推翻了。**

论文给了一个具体案例:15亿参数模型,时限32000步,用16块GPU、小批次训练,验证损失反而低于用64块GPU、大批次训练。也就是说,同样的截止时间,GPU用得少,结果却更好。好比一场限时考试,有人建议雇四个人同时帮你答题,图的是又快又全,可题目要的是深度思考而不是堆人力,四个人同时下笔互相干扰、思路打乱,一个人安静专注地答,分数可能更高。GPU集群堆得越大,数据并行度越高,相当于一次塞进更多"学生"同时答题,看着效率很高,可对这个任务来说,牺牲掉的是模型本该享有的、来自小批次训练的

这个发现直接顶上了业界一个根深蒂固的习惯:一到截止日期就先加GPU、扩大并行度。论文说得很明确,在重复数据训练的场景下,这个做法可能是错的。

研究者还给了另一条路:GPU真多到用不完,除了拿去扩大批大小,也可以拿去压训练延迟,也就是用更激进的

**

**流水线并行**:按层把模型切成几段,分给不同GPU,像工厂流水线那样接力处理数据。

论文的模拟数据显示,15亿参数规模下,微批大小从吞吐量最优的8降到1,代价是8倍GPU,训练时间可压缩2.7倍,验证损失保持不变。外推到700亿参数场景,8倍模型并行度带来3.75倍加速,过了这个点再加并行度也不会更快,通信开销开始反噬收益。这部分研究者标明是模拟推演、并非实测,态度相当谨慎。

**数据池越大,规则跟着变**

研究者没有停在单一数据规模上,把实验扩到三个不同大小的数据池:3.33亿、10亿和30亿token。

结果看,数据池越大最佳验证损失越低,这不出奇。更该留意的是,数据池变大后最优配置本身也在挪动:**批大小该调大,训练轮数的最优点也会后移**。逻辑很直白,池子更大,每轮见到的信息更丰富,过拟合来得更晚,自然扛得住更大的批次和更多重复轮数,不至于提前"学傻"。

这其实也提醒了一件事:不存在放之四海皆准的"最优配方"。训练配置得随手头数据规模走,数据多和数据少,打法不一样。

最后说几句。

论文读完,真正让我停下来想的不是某个技术细节,而是它照出的一种研究惯性。过去场景里验证过的最优解,我们习惯直接搬到新场景里用,前提条件变了也很少回头问一句:当年这个解成立的理由,现在还成立吗?

批大小就是个典型。业界用大批次训练了十几年,逻辑是数据无限、算力是瓶颈,得把每块GPU的吞吐量榨干。单遍训练的世界里,这套逻辑没毛病。可换到数据有限、必须反复训练的世界,原本被当成噪声、要尽量抹平的小批次梯度扰动,反倒成了对抗过拟合的武器。优点成了缺点,缺点成了优点,前提一翻,整套逻辑跟着翻面。同一个变量在不同约束下角色互换,这种事很多领域都有,只是我们很少去重新审一审最初那个前提还站不站得住。

另一处让我反复琢磨的,是把GPU和时间拆成两种资源来看。看着像工程细节,背后其实是一种更一般的方法论:资源不是单维的。把一个笼统的算力概念拆成互相独立、有时还互相制约的多个维度,常能挖出被笼统视角遮住的次优选择。很多“资源越多结果越好”的直觉,或许都值得这样拆开重验一遍。

论文里那个外推场景摆着:700亿参数、10万亿token、22.6年训练时间。数字搁在那儿,冲击力不小。数据枯竭不再是遥远的理论问题,它已经逼近到能具体算出来的工程约束了。

那下一个问题自然冒出来:等重复训练也挖到极限那天,人类社会还能拿出什么新鲜数据,喂给越来越饥渴的模型?

Q&A

重复数据预训练里批大小怎么选?研究发现批大小有一条U形最优曲线,最佳点在64附近,远低于业界常用的512到2048。原因是小批次梯度噪声能起到隐式正则化作用,把过拟合往后推;但批大小太小,优化步数过多,过拟合反而来得更早。

GPU数量和训练时间为什么要分开算?因为多堆GPU不一定能线性缩短训练时间。实验证明,固定截止时间下,用更少GPU配更小批大小训练,验证损失比用更多GPU扩大批大小还低。盲目堆GPU拉并行度,可能是次优选择。

REPACK和权重绑定这些技巧到底改善了什么?REPACK每轮重新打包文档,生成全新的训练序列;权重绑定加上嵌入层权重衰减,能进一步推迟过拟合。两者结合,15亿参数模型的最佳训练轮数从20轮拉到32轮,验证损失和下游任务表现都有提升。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 燃气轮机订单排到2031年,AI公司开始拆航发供电

    (本文作者为 硅碳变量,钛媒体经授权发布)文|硅碳变量,作者|沈浪据英国《金融时报》11月8日报道,Anthropic在9月下旬与位于德克萨斯州圣安东尼奥的设备供应商OnePWR Solutions完成一笔交易,以34亿美元(约合人民币227亿元)锁定1.7吉瓦重型发电机供货,用于数据中心的电力供给。更早之前,AI基础

    来源 腾讯网
  2. 考克森离职Anthropic内幕:IPO路演一张图成导火索?

    IT之家 11 月 14 日消息,曾任职于 OpenAI 和 Anthropic、因公开警告 AI 风险而受到广泛关注的研究员雅各布 · 考克森称,Anthropic 在 IPO 路演中展示的一张幻灯片,是促使他离职的重要原因。考克森在 Anthropic 只工作了约四个月。让他决定离职的原因之一,是公司 IPO 路演

    来源 腾讯网
  3. 超聚变募80亿过会:服务器第二为何做起电力生意

    (本文作者为 预见能源,钛媒体经授权发布)文 | 预见能源预见能源了解到,11月12日,深交所上市审核委员会2026年第61次审议会议通过超聚变数字技术股份有限公司首发申请,拟募资80亿元,为今年创业板受理项目之最。五年前它还不存在,前身是华为x86服务器业务,剥离时随团队转过来的是FusionServer、KunLu

    来源 腾讯网
  4. 黄仁勋卸任、RTX 60延期,消费级显卡真被AI挤到边缘了?

    最近科技圈里最大的瓜就是黄仁勋的离职风波了,英伟达临时换帅,引发了巨大震动。以游戏显卡起家的英伟达,如今在AI芯片领域拥有了绝对的统治权。英伟达的业务板块里,绝大部分资源都分配给了算力卡,留给消费级显卡的并不多。

    来源 36氪
  5. 黄仁勋卸任、RTX 60延期:AI狂潮下消费级显卡被边缘化?

    最近科技圈里最大的瓜就是黄仁勋的离职风波了,英伟达临时换帅,引发了巨大震动。以游戏显卡起家的英伟达,如今在AI芯片领域拥有了绝对的统治权。英伟达的业务板块里,绝大部分资源都分配给了算力卡,留给消费级显卡的并不多。 对于老黄的离开,很多游戏玩家关心的是:下一代RTX显卡的发布进度是否会因此受到影响? 但说实话,无论管理层

    来源 AI 行业观察
  6. 李义春:石墨烯产业迈过量产关,算力散热与高比能电池成新战场

    财联社11月16日讯(记者 刘梦然)自2018年石墨烯散热膜首次应用于手机以来,以石墨烯为主体的散热材料持续推进商业化应用。2026中国石墨烯材料应用博览会暨中国国际石墨烯创新大会日前在温州乐清举行。财联社记者从会上获悉,随着人工智能、具身智能等快速发展,芯片及大功率器件的散热需求日益迫切,石墨烯应用价值愈发重...

    来源 腾讯网
  7. 黄仁勋辞职风波搅动芯片圈:国产算力部件短板待补

    行业动态 国产算力的命门,藏在不起眼的部件里 黄仁勋风波引发产业博弈,全球半导体资本开支预计2026年达2000亿美元。国产替代成为必答题,芯片制造设备命门在于关键零部件。全球半导体设备市场销售额预计2026年达1659亿美元,其中零部件市场约743亿美元。国产化率低,但市场潜力巨大。射频电源、静电卡盘等关键零部件国产

    来源 腾讯网
  8. 光谷七星总市值破万亿:是周期红利还是五十年积累?

    AI算力浪潮之下,光通信行业站上产业风口,武汉“光谷七星”总市值一度突破万亿元。不过,一场名为“从‘光谷七星’看穿越周期的力量”的专题研讨会却抛出追问:万亿市值究竟是周期红利,还是五十年长期主义的兑现? 11月13日召开的这场专题研讨会上,与会专家认为,对标硅谷七雄,“光谷七星”仍存三重缺口,而算力网络、...

    来源 腾讯网
  9. 超聚变创业板IPO过会:174天闯关,河南国资控股

    深交所上市审核委员会本月 12 日召开 2026 年第 61 次审议会议,会议结果为超聚变数字技术股份有限公司(以下简称超聚变)(首发)符合发行条件、上市条件和信息披露要求。这意味着超聚变申报深交所创业板 IPO 过会,且公开信息显示从申报受理到过会仅用时 174 天。

    来源 IT之家
  10. 超聚变创业板IPO过会:174天走完审核,上半年营收已超300亿

    IT之家 11 月 15 日消息,深交所上市审核委员会本月 12 日召开 2026 年第 61 次审议会议,会议结果为超聚变数字技术股份有限公司(以下简称超聚变)(首发)符合发行条件、上市条件和信息披露要求。 在深圳证券交易所上市审核委员会的会议现场,问询超聚变的主要问题包括:结合算力需求变化、下游客户资本开支、技术先

    来源 AI 行业观察
  11. 黄仁勋与英伟达绑定多深:AI行业的集中度风险之问

    TechCrunch文章抛出一个尖锐问题:如果黄仁勋和英伟达遭遇坏消息,是否意味着整个AI行业也将承压?摘要指出,Jensen几乎等同英伟达,而当前AI经济高度依赖英伟达。本文围绕这一判断,分析英伟达在AI算力、资本市场与产业信心中的枢纽角色,并讨论风险集中可能带来的连锁反应。

    来源 AI 行业观察
  12. 黄仁勋的叙事术为何失灵:创始人神话在丑闻中走向终结?

    他被视为最会讲故事的科技CEO,把NVIDIA从显卡厂商讲成AI时代的算力霸主。但在WIRED看来,创始人神话正在失效:当性丑闻争议缠身,再精彩的叙事也难以自圆其说。本文剖析黄仁勋的叙事术、硅谷的创始人崇拜,以及一个关于权力、形象与真相的行业寓言。

    来源 AI 科技快讯
  13. 黄仁勋离任:AI初创融资缺口有多大?

    TechCrunch报道称,黄仁勋离任将在AI初创融资市场留下巨大缺口。此前英伟达在其领导下向AI初创投入数百亿美元,既提供资金也带来算力与生态背书。创始人和风险投资人预计,未来融资支票更小、估值更低、交易更谨慎。文章分析这一变化对AI创业生态、英伟达战略投资节奏以及VC定价逻辑的潜在影响。

    来源 AI 科技快讯
  14. 石墨烯如何接住AI散热需求:诺奖得主海姆对话产业界

    “单层石墨烯性能卓越,相关研究15年内能走入百姓生活。”在不到一个月前的上海,2010年诺贝尔物理学奖得主、中国科学院外籍院士、中国石墨烯产业播种人安德烈·海姆(Andre Geim)为石墨烯从实验室走向日常划出了一个时间刻度。11月13日,2026中国石墨烯材料应用博览会暨中国国际石墨烯创新大会“诺奖院士巅峰对话会”

    来源 腾讯网
  15. 黄仁勋辞职传闻搅动芯片圈:英伟达走向与行业格局成焦点

    【环球时报-环球网报道 记者 陈子帅】执掌英伟达33年、被视为全球人工智能(AI)产业标志性人物的黄仁勋突然离任,引发全球科技界和资本市场广泛关注。他的离任可能对英伟达的经营战略、美国AI产业生态乃至全球算力竞争格局带来哪些潜在影响?13日,接受《环球时报》记者采访的专家表示,全球芯片行业或将进入“战国时代”,...

    来源 腾讯网
  16. 英伟达动荡波及以色列:风投盯上本土挑战者的窗口期

    英伟达在AI领域的统治地位及其在以色列的深厚布局,让当地创业生态对其动向高度敏感。随着这家巨头陷入动荡、关键人物离场,以色列风投开始看到本土挑战者的机会,围绕算力、芯片与AI基础设施的创业浪潮或迎来新一轮洗牌。

    来源 AI 科技快讯
  17. 深南电路2026Q3营收104.78亿增66.29%,算力PCB订单饱满

    近日,深南电路(002916.SZ)举办投资者关系活动,披露2026年三季度经营业绩。期内公司实现营业收入104.78亿元,同比增长66.29%;归母净利润18.78亿元,同比增长94.42%;扣非归母净利润18.58亿元,同比增长102.78%。业绩增长得益于AI算力基础设施投资及产品迭代升级,带动PCB、封装基板及

    来源 腾讯网
  18. 英伟达990亿投资AI生态:下一轮融资更贵更难?

    近年来,AI热潮背后一直站着一位“最后贷款人”,他卖芯片,也开支票。如今,那个穿皮衣的人离开了“AI央行”英伟达,支票簿临时交到了一位曾被他称作“车灯前的小鹿”的财务官手中。 过去几年,英伟达一边卖芯片,一边向AI产业链各环节大举投资。截至今年7月26日,其股权投资的账面价值达990亿美元,投资对象涵盖AI实验室、新兴

    来源 AI 行业观察
  19. 阿莫迪谈 Anthropic 上市动机:为不确定算力需求囤现金缓冲

    IT之家 11 月 16 日消息,Anthropic 联合创始人兼 CEO 达里奥 · 阿莫迪上周五到访纽约,与“华尔街一哥”、摩根大通掌门杰米 · 戴蒙进行公开对谈。 在谈话中,阿莫迪将算力称为公司面临的“最深层商业难题”。他解释,公司选择上市的重要原因,就是增加现金储备,为高度不确定的算力需求提供更大缓冲。 戴蒙在

    来源 AI 行业观察
  20. 超聚变80亿IPO过会:服务器卖到国内第二,为何把机房供电单列成生意

    超聚变拟募80亿,将供电架构单列成新业务线。 预见能源了解到,11月12日,深交所上市审核委员会2026年第61次审议会议通过超聚变数字技术股份有限公司首发申请,拟募资80亿元,为今年创业板受理项目之最。 五年前它还不存在,前身是华为x86服务器业务,剥离时随团队转过来的是FusionServer、KunLun与Fus

    来源 AI 行业观察
  21. 英伟达芯片追踪计划与硅谷中期选举误判:技术万能论受考验

    硅谷一向自诩能预知未来,却在中期选举的政治判断上集体失准;与此同时,英伟达正推进芯片位置追踪计划,以应对出口管制与走私难题。两件事看似无关,却共同暴露出技术精英的思维盲区:把世界当成一道可以用算力求解的工程题。本期The Download带你解读。

    来源 AI 科技快讯
  22. 京东物流推半导体智能物流方案:晶圆下线到包装100%无人化

    IT之家 11 月 13 日消息,第二十三届中国国际半导体博览会 IC China 2026 昨日(12 日)在北京国家会议中心开幕。京东物流参展并提出半导体行业首个智能物流解决方案,可实现半导体材料从仓储、分拣、出库、包装环节 100% 无人化,标志着高价值精密物料物流从单点自动化迈向系统级无人化。官方表示,半导体正

    来源 腾讯网
  23. 李星宇离职燧原科技:主抓生态与战略合作,曾谈国产算力

    近日,有消息称燧原科技联合创始人兼首席生态官李星宇已离职。截至发稿,燧原科技方面未就此事作出公开回应,李星宇本人亦未公开说明离职原因及下一步去向。公开信息中,李星宇较近一次以燧原科技首席生态官身份露面是在2026年5月,参与苏州大学未来科学与工程学院与燧原科技联合举办的国产算力校园行活动。原定11月14日举行的GOTC

    来源 腾讯网
向下滚动自动加载更多