KV4-RL:给AI训练装上四档变速箱,让强化学习飞起来

资讯 腾讯网 作者:科技行者 全文 4241 字 · 约 11 分钟读完 分类推理模型芯片

2024年的某个深夜,一群训练推理模型的工程师发现了一件怪事。他们把GPU集群里的生成速度从"同步等待"改成了"异步插队",理论上应该快很多。实际跑起来确实快了,整个批次的利用率从惨不忍睹变成了相当体面。但奇怪的是,加速的幅度总是不如预期的那么夸张。显卡明明更忙了,但每一步解码花的时间也变长了。这不是哪个具体...

所属频道 模型发布算力与芯片

2024年的某个深夜,一群训练推理模型的工程师发现了一件怪事。

他们把GPU集群里的生成速度从"同步等待"改成了"异步插队",理论上应该快很多。实际跑起来确实快了,整个批次的利用率从惨不忍睹变成了相当体面。但奇怪的是,加速的幅度总是不如预期的那么夸张。显卡明明更忙了,但每一步解码花的时间也变长了。

这不是哪个具体团队的内部八卦,而是这篇论文想要揭开的系统性问题。KAIST和NAVER Cloud的研究者们把这个现象命名为"KV concentration"(KV集中化),并且顺着这条线索,造出了一个叫

这篇文章想聊的,就是他们怎么发现问题、怎么分析问题、最后怎么解决问题的全过程。

一个悖论:更忙的GPU为什么没有想象中快

先说说背景。现在训练推理模型(比如让AI做数学题的那种),常用的方法叫

问题在于,AI生成答案的长度参差不齐。简单题三言两语,复杂题可能要写几千字的推理链。

传统做法是同步收集:一批任务一起开始,一起等待,直到最慢的那个写完。这就好比餐厅里一桌客人同时点菜,有人点了份快餐,有人点了需要慢炖两小时的硬菜,服务员必须等所有菜都做好才能一起上桌。那些点快餐的客人的座位,在这两个小时里白白空着,没法接待新客人。

异步收集的思路是:谁写完了,谁的座位立刻放进新客人。这样座位利用率确实提高了。但研究者们发现了一个此前没人仔细算过的代价:座位周转快了,但每次上菜前厨房要处理的"记忆量"也跟着暴涨。

这个"记忆量",专业说法叫

KV缓存

想象一下,如果让你一边聊天一边完全凭记忆复述前面说过的每一句话,那太累了。AI也一样,它用

问题是,异步调度让更多的长对话同时"挂在"系统里。研究者用一个真实的训练追踪发现,异步收集让每一步平均要处理的KV缓存体积暴涨了7.82倍,每一步解码的耗时也跟着涨了4.52倍。虽然并发数量上去了,带来1.83倍的吞吐提升,但这部分收益,被更贵的单步成本吃掉了一大半。

这就是论文的第一个核心发现:异步调度虽然消灭了"空座率",却把原本分散在很多轮次里的记忆负担,压缩进了更少、更重的几轮里。这不是异步调度本身的问题,而是一个数学上必然的结果,只要响应长度参差不齐,这种"集中化"效应就一定会发生。论文里甚至给出了严格的数学证明,证明在理想化的持续补位模型下,这个集中化因子一定大于等于1。

那么,面对这个被集中化了的记忆负担,该从哪里下刀减肥?

为什么瘦身要瘦在KV缓存上,而不是模型本身

这里要先说清楚一个背景知识。给AI模型"瘦身"加速,业界常见的思路主要有两种。

一种是压缩模型权重本身,比如把原本用16位小数存储的参数,压缩成4位整数,这叫

这篇论文的研究者做了一个"曲线对比":他们把早期、中期、晚期三个训练阶段的真实负载抓出来,分别用

这个结果其实不难理解,只是容易被忽略。

当GPU上同时跑着几百个对话时,模型权重只需要加载一次,就可以被所有对话共用。但每个对话自己的历史记录是没法共用的,你记得的事情和我记得的事情不是一回事。并发越多,权重的加载成本被摊得越薄,而KV缓存的处理成本,则随着每个对话自己的长度线性增长,谁也替代不了谁。

这就好比一个大型会议室,投影仪(模型权重)只需要开一次机,所有参会者都能看到屏幕。但每个参会者自己的笔记本(KV缓存)必须自己带、自己管。会议室里塞的人越多,投影仪开机的成本摊得越薄,但笔记本的总重量只会越堆越高,这堆行李才是真正让人腰酸背痛的负担。如果只想着给投影仪减重,而不管那堆越积越多的笔记本,瘦身计划注定收效甚微。

所以,结论很清楚:要给异步推理瘦身,刀要砍在KV缓存上。

把精度砍到4位,会出什么乱子

把KV缓存从16位压到8位,研究者发现模型学习的效果几乎没有损失。但如果继续激进地压到4位整数呢?这时候麻烦来了。

这里要先插入一个关键背景:在强化学习训练里,AI生成的每一个回答,不只是给人看的最终输出,它同时也是接下来训练这个模型的"教材"。

这就带来一个微妙但致命的问题。如果生成答案时用的数值精度(比如

采样器失配

为了纠正这种偏差,业界已经有一种标准做法叫

论文做了一个关键实验:同样用

这说明一件很反直觉的事:事后补救的数学公式,没法完全抹平训练过程中产生的系统性偏差。

这就好比考试时你用了一把刻度有点歪的尺子量图形,事后你可以把每个测量值乘以一个修正系数,让数字看起来准确。但如果你因为尺子的误差,一开始就画错了图形的形状,后面再怎么修正数字,也救不回那张已经画歪的图。

这个发现是整篇论文最关键的转折点:单纯追求数值精度的事后修正是不够的,必须从生成过程本身入手,减少偏差的产生,而不是单纯依赖事后打补丁。

KV4-RL

既然全部压到4位会出问题,全部保持8位又损失了大部分加速收益,那有没有折中方案?

研究者的思路是:不是所有位置的历史记录都同等重要。他们借鉴了此前inference领域已有的两个发现:一是

基于这两个观察,

这就像公司搬家时打包行李。大部分旧文件可以随便塞进普通纸箱(INT4),反正平时也用不上,压一压没关系。但是你的身份证、工作合同这几份最关键的文件(

实验证明这个思路确实对症下药。用固定144个位置的保护预算做分配实验,发现把16个位置给汇聚点、128个位置给近期上下文,这种搭配比把全部预算都砸在任意单一区域效果更好,相比纯INT4能把关键的数值偏差指标(论文里叫

这里再补充一个术语。

Hadamard旋转

工程实现上,KV4-RL还做了一个巧妙的设计:INT4存储了完整历史,INT8只存最近和开头的副本,两者是独立的两套缓存,计算注意力的时候分别算,最后用一个数学上严格等价的公式把两边的结果合并起来,不需要把INT4的数据先转换成INT8再计算,这样额外开销被死死限制住了,不会随着对话变长而失控。

真金白银的加速效果

说了这么多设计思路,最终效果到底如何?

论文在

表格

模型规模 | 指标 |

8B | 累计生成速度 | 1.00× | - | - | 1.80×

8B | 累计单轮训练速度 | 1.00× | - | - | 1.27×

8B | 训练后期(最后50轮)生成速度 | 1.00× | - | - | 1.97×

8B | 六项基准测试平均分 | 52.4% | 52.8% | 47.8% | 52.8%

4B | 六项基准测试平均分 | 47.0% | 46.6% | 46.2% | 46.6%

这组数据里有几个值得细品的点。

首先是加速效果确实显著,8B模型上累计生成速度提升了1.80倍,整个训练流程(包括学习更新这部分没法加速的环节)也提升了1.27倍。更有意思的是,训练进行到后期,因为AI生成的答案越来越长,KV4-RL的加速优势反而越来越明显,从训练开始时的1.45倍涨到最后50轮的1.97倍。这正好印证了前面说的逻辑:对话越长,KV缓存这个瓶颈越突出,压缩的收益也就越大。

其次是精度几乎没有损失。在六项数学测试的综合得分上,KV4-RL和未压缩的BF16基线几乎打平,8B模型上甚至还高出0.4个百分点,而纯粹的4位压缩方案(没有保护机制的KV4)则明显掉队,比基线低了4.6个百分点。

这组对比清楚地说明了一件事:单纯追求压缩比例是没有意义的,真正有价值的是在压缩和保真度之间找到那个恰到好处的平衡点

论文里还有个细节值得一提。到了训练后期,学习更新这一步的耗时占比,从一开始的小头变成了大头,8B模型上最后50轮里,学习计算占了整个训练轮次时间的60.5%。这意味着生成速度被压榨得差不多之后,下一个值得优化的瓶颈,已经转移到了模型更新这一侧,这也是论文作者坦诚指出的局限,KV4-RL解决的只是问题的一半。

写在后面

读完这篇论文,有几个地方让我反复琢磨。

第一个是"异步调度会增加单步负担"这个发现本身。这不是什么高深的新算法,而是对现有系统做了一次非常扎实的账本式分析,用数学证明加真实追踪数据,把一个大家隐约感觉到但没人系统量化过的现象讲清楚了。很多时候,工程上最有价值的突破,不是发明新东西,而是把已经存在、却被忽略的代价算明白。

第二个是TIS失效这件事。论文明确指出,事后的重要性采样修正,只能修正"概率算错了多少",没法修正"采样路径走偏了"。这个区分其实挺深刻的,它提醒我们,很多"打补丁"式的修正方法,解决的是症状层面的问题,而不是根源。如果一个系统在生成数据的源头就有偏差,那指望在后面用一个系数去修正,注定是治标不治本的。

第三个是那个16+128的保护位置分配,固定、不随上下文增长而膨胀。这种"有限预算下做精准投放"的思路,其实在很多资源受限的场景里都适用,不只是AI系统设计。

论文最后提到一个点我觉得值得单独拿出来想一想:现在很多前沿模型都在用更高效的注意力架构(比如混合注意力、局部注意力)来压缩KV缓存本身的开销,但作者认为,这些架构上的进步省下来的空间,最终还是会被更长的推理链、更大的并发数吃回去,同样的压力迟早会在新的技术天花板上重新出现。这个判断挺有意思,技术进步经常不是消灭了某个瓶颈,而是把这个瓶颈推到了一个更高的量级上重新出现。

所以问题可能不是"KV缓存量化能不能解决这个问题",而是"下一次这个瓶颈会以什么新面目再次出现"。

Q&A

Q1:KV4-RL是什么?

A:KV4-RL是KAIST等机构提出的一种强化学习训练加速方案,核心思路是把AI生成答案时用到的KV缓存压缩成4位整数存储,同时对最开头和最近的少量关键位置保留8位精度做保护,从而在不明显损失模型学习效果的前提下,大幅加快异步推理训练的速度。

Q2:为什么异步调度反而会让单步计算变慢?

A:因为异步调度让更多长度不一的对话同时留在系统里继续生成,这会把原本分散在很多轮次里的历史记录处理工作,压缩集中到更少但更重的几轮解码步骤中,导致每一步要处理的KV缓存体积暴涨,单步耗时随之增加,这个现象论文中称为KV集中化。

Q3:为什么不能直接把KV缓存压到4位整数就完事?

A:因为强化学习里AI生成的答案本身就是后续训练用的数据,如果生成时用的数值精度和训练时不一致,会导致采样路径发生系统性偏差,即便用重要性采样做事后修正也无法完全弥补,实验显示纯4位压缩会让模型学习效果明显掉队,最终综合得分比未压缩方案低4.6个百分点。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 英伟达博通到光模块,AI硬件资产预期重估

    导语:从英伟达、博通到光模块、半导体设备,AI硬件资产正在经历一场预期重估。过去两年,全球资本市场最拥挤的交易之一,就是买入AI硬件。英伟达的GPU、博通的定制芯片、台积电的先进制程,以及光模块、服务器、电源和散热设备,几乎构成了AI投资浪潮中最确定的一条受益链。投资者当时的逻辑并不复杂:只要微软、谷歌、亚...

    来源 腾讯网
  2. TOTO投600亿日元建厂:卖马桶的为何能给AI芯片供货?

    近日,TOTO宣布在福冈县丰前市新建一座半导体制造装置核心部件的量产工厂,投资约600亿日元,加上大分县中津市两座工厂约110亿日元的设备投资,合计约710亿日元。是不是很惊讶,怎么印象里做马桶的巨头TOTO怎么也开始跨界进军半导体了,可如果你在2026年的东京证券交易所随便扫一眼涨幅榜,会产生一种强烈的错觉:AI算力

    来源 腾讯网
  3. 美国商务部AI芯片新规:远程算力出口也要许可证

    美国商务部发布临时规则,要求企业在可能向中国等受限国家提供算力的情形下,出口AI芯片须申请许可证。新规将管制范围从芯片实体出口延伸至远程云计算访问,意在堵住中国企业通过海外数据中心获取算力的漏洞。全球AI产业链与云服务格局或将迎来新一轮调整。

    来源 AI 科技快讯
  4. 台积电按客户信用额度分配产能,AI循环融资疑虑升温

    IT之家 11 月 16 日消息,据中国台湾地区媒体《工商时报》今天报道,AI 时代循环融资疑虑升温,台积电将客户财务资料与数据中心建设需求纳入需求评估,特殊应用集成电路(ASIC)从业者也加紧筹资。 据从业者透露,台积电根据各公司资产负债表拟定信用额度,同时考量历史损失率、竞争力及营运展望;当下单金额超出额度,就需要

    来源 AI 行业观察
  5. 特朗普AI新政:25家美企获“国家冠军”认定,芯片管制转向出海

    据《华尔街日报》报道,特朗普政府最快于11月22日正式宣布将Nvidia、OpenAI、亚马逊、微软、Anthropic等逾25家美国AI企业认定为"国家冠军",享受出口许可快速审批、海外运营政府担保及联邦融资支持。这是2025年7月行政令《美国AI出口计划》的具体落地,标志着华盛顿AI政策主轴从"卡住中国"转向"主动

    来源 AI 行业观察
  6. 三星美光海力士内存涨价7倍,法官戳破AI背锅说法

    最近,硬件圈发生了一件魔幻的事。因为新一代DDR5内存条贵得离谱,而老款DDR4和DDR5插槽互不兼容,逼得多家主板厂从年中开始掉头重启了原本停产的DDR4主板产线。更离谱的是,玩家去市场上一问价,发现老旧的DDR4不仅没便宜,近期涨幅一度反超了新款DDR5。今年的笔记本新品们,更是集体退回16GB内存时代。这一年多来

    来源 腾讯网
  7. 英伟达触底、空头逼近极值:AI抛售是转折还是轧空前奏?

    AI交易遭遇技术面与资金面的双重压力,英伟达及半导体板块估值大幅回落,但极端空头仓位与机械性抛售也为轧空创造条件。与此同时,AI资本回流支撑美元,低AI敞口的欧洲股市则成为全球资金寻求多元化配置的新方向。

    来源 华尔街见闻
  8. SemiAnalysis下调AI算力预测:2028年资本开支降28%,英伟达承压最重

    SemiAnalysis将2028年全球AI加速器资本开支预测下调28%,2030年下修40%;2026—2030年加速器硅片出货面积累计预测下调17%,2028年HBM需求预测更被砍掉30%,2030年功耗需求预测下调34%。英伟达成为最大受冲击者,占全球硅片出货削减幅度的66%,其2030年按计算收入测算的出货预测

    来源 华尔街见闻
  9. AI探店10元一条,月流水800万的生意谁在买单?

    点击 Tech星球 > 点击右上角“···” > 设为星标 Tech星球(微信ID:tech618)文 | 林京封面来源 | 豆包AI本地生活赛道,探店生意曾形成一条完整的产业链,如今正被AI侵蚀。传统真人探店拍摄剪辑动辄数百上千元,而现在AI将单条内容的的成本压到10元以内。商家只需上传一张门头照、几张菜肴图,再配一

    来源 腾讯网
  10. AI探店10元一条、800元一分钟:月入800万的生意谁在买单?

    点击 Tech星球 > 点击右上角“···” > 设为星标 Tech星球(微信ID:tech618)文 | 林京封面来源 | 豆包AI本地生活赛道,探店生意曾形成一条完整的产业链,如今正被AI侵蚀。传统真人探店拍摄剪辑动辄数百上千元,而现在AI将单条内容的的成本压到10元以内。商家只需上传一张门头照、几张菜肴图,再配一

    来源 腾讯网
  11. 英伟达事件抽走AI流动性:AI版量化紧缩会来吗?

    此前在本轮美股科技股、人工智能(AI)股大幅抛售潮后,市场人士纷纷呼吁逢低加仓。但上周英伟达相关事件后,市场情绪再度急转直下,即使芯片股上周创下4月以来最大单周涨幅,对冲基金反而逢高减持。甚至有华尔街机构警告,英伟达相关事件将抽走许多AI领域的流动性,引发AI版量化紧缩。 对冲基金逢高减持 即使在最近一轮市场动荡的情况

    来源 AI 行业观察
  12. 九国签《旧金山宣言》:AI供应链联合清单落地,中方依赖成焦点

    2026年11月15日,美国联合日本、澳大利亚、英国、韩国、印度等9个国家在APEC峰会特朗普-习近平会晤前夕签署《旧金山宣言》,承诺建立AI技术和供应链脆弱性联合清单,涵盖半导体、关键矿产与能源基础设施。这是2025年12月"硅片和平(Pax Silica)"倡议以来最具约束力的制度化落地。德国、瑞典、荷兰

    来源 AI 科技快讯
  13. MN-Core L2000:PFN联手三星SEMIFIVE,目标内存带宽翻倍

    IT之家 11 月 17 日消息,日本人工智能初创企业 Preferred Networks (PFN) 当地时间今日宣布,其在 AI 推理加速器 MN-Core L2000 上将延续与芯片设计服务企业 SEMIFIVE、芯片合同制造服务商三星电子的合作,继续打造垂直堆叠逻辑芯片与 DRAM 内存的产品。 PFN 的

    来源 AI 行业观察
  14. 华为云“行业AI梦工厂”发布并开源昇腾原生具身世界模型CloudRobo-WM1.2

    【TechWeb】11月16日消息,今天,华为云“行业AI梦工厂”发布并开源昇腾原生的具身世界模型CloudRobo-WM1.2,采用共享世界模型骨干网络实现预测增强的世界表征,基于世界模型原生DualAct架构,实现了世界模型原生动作生成,在RoboTwin 2.0、LiberoPro 2.0 评测中均位列第一。 五

    来源 AI 行业观察
  15. 72.4 亿日元,鸿海拟收购索尼半导体车载摄像头模组业务

    IT之家 11 月 17 日消息,据台媒《经济日报》今天(17 日)晚间报道,鸿海宣布与索尼半导体解决方案公司签署协议,拟以 72.4 亿日元(IT之家注:现汇率约合 3.03 亿元人民币)现金收购后者旗下车载摄像头模组业务。此次收购涵盖业务、技术、客户资源及运营资源,预计在获得监管部门批准并满足其他先决条件后,于 2

    来源 腾讯网
  16. 为什么AI反而让我们越来越忙?关于AI的3个悖论

    先说个我自己的直观感受:AI写文章越来越牛逼,三分钟就能吐出一篇像模像样的稿子。但要写出一篇走心的、大家愿意读的文章,一点也没有变得更容易。我很多大厂的前同事也天天在用AI,但很明显,老板的要求越来越高,很多产品经理都要求拿着能运行的demo去过评审会。最终,AI并没有给我们省时间,反而让我们越来越忙。今天卫...

    来源 腾讯网
  17. 北科天弓天芯获数千万元种子轮融资,二维半导体瞄准1nm以下制程

    作者 | 邱晓芬 编辑 | 袁斯来 硬氪获悉,二维半导体公司北科天弓天芯(北京)科技有限公司(以下简称「天弓天芯」)近日完成数千万元种子轮融资,由中科创星、英诺基金出资。本轮资金将主要用于团队建设、晶圆生产能力建设及技术成果转化。 「天弓天芯」成立于2026年5月,是北京科技大学张跃院士团队的科技成果转化项目,专注于打

    来源 AI 行业观察
  18. 三星奥斯汀厂投19亿美元扩产:为SpaceX星链造STM32V8芯片

    为此,三星将投资19亿美元扩建奥斯汀工厂的生产设施,目标在2030年前投入运营。报道引述芯片行业消息人士及美国商务部15日消息称,此次扩产旨在将部分目前于法国生产的STM32V8产能转移至美国本土。三星方面对单一客户合同表示不予官方确认。SpaceX已在星链低地球轨道卫星之间的微型激光链路系统中采用该芯片,用于卫星间的

    来源 TechWeb
  19. 雷军:具身智能机器人产业机会远超汽车,AI融入物理世界空间有多大?

    IT之家 11 月 17 日消息,2026 年 APEC 工商领导人峰会 11 月 17 日至 18 日在深圳举办,主题为“共促繁荣,共赢未来”。小米创办人、董事长兼 CEO 雷军认为,过去 4 年时间,AI 大模型的技术突飞猛进,给我们的生活工作带来了巨大变化。 雷军表示,当 AI 走向物理世界、与终端和各类应用场景

    来源 AI 行业观察
  20. 华为昇腾:长江证券看好昇腾链,芯模协同或助推国产AI算力

    11月17日,长江证券研报中指出,看好华为昇腾链,产品迭代与芯模协同并进,国产AI算力领军腾飞在即。1、2026年9月,华为全联接大会2026发布全球首个采用NPO 技术的昇腾960超节点,并宣布960DT 提前至2027Q1、960PR 提前至2027Q3;同月,昇腾950超节点正式上市、较原计划提前。2、11月3日

    来源 腾讯网
向下滚动自动加载更多