VHA注意力机制:查询头减半、KV头压到2个,质量反而超过GQA-8
你有没有想过,为什么现在的大模型越做越能处理长文本,但手机上跑起来却越来越卡?这背后藏着一个工程师们心知肚明却一直没彻底解决的矛盾。大模型在处理长文本时,需要把之前算过的键值对(Key-Value)存在显存里,这样下一个字生成的时候就不用重新计算前面所有内容。这个存起来的东西叫做KV缓存:大模型在生成文字时,...
手机上跑大模型越来越卡,可模型处理长文本的能力却一年比一年强,这两件事为什么同时发生?
矛盾藏在显存里。模型生成文字时,前面算过的键值对(Key-Value)不会扔掉,而是存进一块显存空间备用,下一步生成就不用从头再算一遍。这块存起来的东西叫KV缓存——每一步算出的“钥匙”(Key)和“内容”(Value)都留在里面,供后续步骤复用。
上下文一长,缓存就跟着膨胀。128K的上下文窗口,意味着十几万个字的所有键值对要同时记着,显存很快被缓存占满,留给实际计算和并发用户的空间越来越少。
整个领域于是被三方拉扯:KV缓存想小一点,训练和推理的计算量想低一点,模型效果还想好一点。三件事很难同时做到。论文里管这个叫“
不可能三角
业界目前用得最多的方案叫GQA用8个KV头(简称GQA-8)效果很好,但缓存开销也大,在
GQA
道理不难懂。8个KV头时,平均每组有2个查询头共享一套键值信息;压到2个KV头,就变成每组8个查询头抢同一套键值。信息越稀释,模型越糊涂。好比一个班原来2个学生配1个辅导老师,现在8个学生抢1个辅导老师,老师再厉害,分到每个学生身上的关注也稀薄了,学习效果必然打折扣。师生比不压缩,缓存降不下来;压缩了,质量就滑坡——GQA就卡在“不可能三角”这里。
那换一条路呢?
MLA
MLA
MFA
MFA
三个指标像拔河,拉一个,另外两个就被扯动。有没有可能三头都不放松?
论文提出的方案叫Virtual Head Attention。VHA(虚拟头注意力)是一种注意力机制设计,核心思路是先把物理查询头数量砍半、KV头数量压到2个,再用两个轻量的线性操作把损失掉的表达能力补回来,分别叫
这个思路挺大胆:查询头直接砍一半,KV头也压到2个,正是前面说的“doubly-compressed”(双重压缩)配置。单看压缩幅度,比GQA-2还狠。按之前的逻辑,质量应该掉得更惨才对。可VHA偏偏在最激进的压缩形态上把质量做回来了,甚至超过没压缩的GQA-8基线。
秘密就在那两个补偿操作上。
第一招叫Q Premix,把砍掉的查询头“复活”。查询头砍半后,每个KV组里剩下的查询头太少,表达能力不够用。Q Premix的做法是给每个KV组配一个专属的变换矩阵,组内剩下的查询头经过这个矩阵一变换,就能“分裂”出和原来一样多的虚拟查询头。
这个变换矩阵一开始被初始化成接近单位矩阵(也就是几乎不改变输入),只加一点点随机扰动。训练过程中,这个矩阵会慢慢偏离
训练完成后,论文作者把模型里的这个变换矩阵直接取出来做了检查。结果发现,矩阵和单位矩阵差得相当明显,在1.7B模型的中后层偏离最厉害,峰值到5.85;不同KV组学到的矩阵之间也差得不小,峰值达6.13。这说明两组学到的是不一样的查询变换方式,但又不是完全各管各的。
打个比方,原先厨房里有8个厨师,每人负责一份摆盘;如今厨师只剩4个,却给每人配了一副“分身魔法眼镜”,戴上就能用两种不同的眼光同时摆盘,一个人顶两个人用。要是没这副眼镜,厨师少一半,摆盘的花样也跟着少一半,菜品的丰富度直接打对折。这副眼镜的关键在于:两份工作既不能一模一样,否则等于没分身;也不能毫无关系,否则就成了两个独立厨师,人力还是省不下来。它要的是两份工作各有侧重,又能互相借力。
第二招叫Linear Postmix,给砍开的信息架桥。Premix解决了组内信息不够丰富的问题,但不同KV组之间(比如上面说的两组厨师)彼此还是信息隔绝的。Linear Postmix就是来打通这堵墙的。
它的做法是在注意力输出结果上,套一层“单位矩阵加
训练起步时,B矩阵被初始化成全部为零,AB?恰好也就是零,Postmix在最初阶段压根不参与运算,等于给了模型一个稳妥的出发点。等到训练往前走,B才逐渐学到有用的跨组信息融合方式。
论文还把训练结束后的Postmix矩阵绘制成图,用来观察它究竟学到了什么。
打个比方,公司里的财务部和市场部原先各忙各的,彼此没有往来。后来添了一条制度:每周挤出一点时间,两个部门各出一个人碰个面,把关键信息通个气。信息量并不大,却足以让双方不至于越走越偏。没有这条制度,两个部门各干各的,做决策时漏掉对方的关键信息,公司整体效率就要打折扣。这条制度的高明之处在于碰面频次压得很低(低秩约束),不会让两个部门为了迁就对方而耽误本职。
论文安排了一项关键消融实验,结论是两招得配套使用。只上Premix,比标准GQA-8低0.78%;只上Postmix,低0.14%;两招一起用,反倒比GQA-8高出0.41%。照论文的说法,Premix带来的是“组内多样性”,Postmix负责的是“跨组信息架桥”,这两种能力互相补位,少掉哪一个都填不平压缩造成的损失。
最巧妙的地方在于:两招全是纯线性操作,没有掺入任何非线性激活函数(比如常见的SiLU、ReLU)。也就是说,训练完成后Premix能直接“焊接”进查询投影矩阵,Postmix能直接“焊接”进输出投影矩阵,推理阶段不用多算一步,模型立刻退回标准GQA-2架构,可以直接套用现成的推理优化。
相当于给一辆车加装了涡轮增压系统,改完之后外观和普通车看不出差别,修理厂的师傅不用再学新工具,照老办法保养即可。一旦用了非线性激活,这层“伪装”就藏不住了,推理时得专门写一套新的计算内核,运维开销跟着往上涨——MLA方案被诟病“需要定制内核、推理流程不标准”,根子就在这里。
数据也给出了答案:五个规模全部通过验证。
论文在0.6B、1.7B、4B、8B-A1B(
MoE(混合专家模型):模型内部包含许多“专家”子网络,每次推理只激活其中一小部分,从而在不明显增加计算量的前提下大幅扩充模型容量。
结果摆在那里:VHA在每个规模上都压过标准GQA基线,涨幅从0.05%到0.81%不等;KV缓存在稠密模型规模上比GQA-8小4倍,在MoE规模上比GQA-4小2倍。1.7B规模下,训练和
| 规模 | 方法 | 缓存(KB) | 平均准确率 |
|---|---|---|---|
| 0.6B | GQA | 4.00 | 50.42 |
| 0.6B | MFA | 1.00 | 50.66 |
| 0.6B | VHA | 1.00 | **51.04** |
| 1.7B | GQA | 4.00 | 54.09 |
| 1.7B | MFA | 1.00 | 54.06 |
| 1.7B | VHA | 1.00 | **54.50** |
| 4B | GQA | 4.00 | 56.90 |
| 4B | MFA | 1.00 | 56.94 |
| 4B | VHA | 1.00 | **57.71** |
| 8B-A1B | GQA | 2.00 | 54.86 |
| 8B-A1B | VHA | 1.00 | **54.91** |
这张表最耐人寻味的地方在于,VHA并非只在某个规模上侥幸取胜,五个规模它全都赢了,而且动用的缓存是对手里最小的那一档。还有更有意思的:论文专门补了一项更极端的测试,把GQA的KV头从8砍到2,查询头也砍掉一半,做成与VHA相同的8-2-2形状,但不加Premix和Postmix。这个“裸奔版”双重压缩配置比GQA-8整整低了1.71%。VHA用同样的双重压缩形状,把这1.71%的损失全部补了回来,还反超0.41%。
这背后其实说明一件事:压缩本身并不可怕,可怕的是压缩之后没人补。VHA那两个线性模块干的事,就是在最激进的压缩位置上,把丢掉的那部分表达力重新找回来。
工业级规模上也验证过,没出岔子。论文拿一个30B-A3B的MoE模型做实验,训练用了500B token、8K上下文,12个基准测试跑下来,VHA比GQA-4高2.60%,比MLA高0.70%;缓存占用只有GQA-4的一半、MLA的89%。分大类看,General上VHA领先GQA 3.39个百分点,数学与STEM上领先3.31个百分点。这种领先在不同能力维度上分布得比较均匀,不是靠某一项特别突出把平均分拉上去的。
长上下文场景里,差距被拉得更大。论文在一个10B-A1B规模的MoE模型上做了对比,一边是全程用2个KV头的VHA,另一边是全程用4个KV头的GQA,在
两个模块各干各的活,拆开看就清楚了。
论文末尾专门用一节分析训练完的模型,看Premix和Postmix究竟学出了什么内在结构。这部分读起来挺有味道。
先说Premix,分析排除了两种偷懒的可能。一种是矩阵训练完几乎没动,还停在接近单位矩阵的状态,那这个模块等于白加;另一种是不同KV组学出了一模一样的矩阵,看着是多组,实际退化成一组。实测数据把这两种都排除了:矩阵确实学出了明显偏离单位矩阵的变换,组与组之间也确实有显著差异。不过这个差异没到完全独立的程度,说明两组之间存在某种学习上的默契,既分化又协调。
Postmix那边排除的是另一种偷懒:假如AB?这个低秩矩阵只在对角线上做简单缩放,相当于给每个头单独调音量,那就说明它根本没实现跨头信息交流的初始设计目的。桑基图的可视化结果里能看到大量非对角线信息流动,说明Postmix确实在做真正的跨头信息重组,不是摆样子。
对训练完的模型做这种解剖式验证,比只看最终准确率更让人信服。它回答的不是这个方法有没有用,而是它到底怎么起作用。一个方法效果再好,拆开发现里面什么都没学到,比如矩阵根本没变化,那效果可能来自别的因素,这个模块本身就是摆设。VHA的分析证明两个模块各自承担了不同功能,不是互相重复的冗余设计。
论文还提到,训练时用复杂参数化、推理时折叠成简单形式这套思路,和两个经典工作在精神上相通。一个是
Q&A
Q1:Virtual Head Attention是什么?
A:Virtual Head Attention(VHA)是一种新型注意力机制。核心做法是物理查询头数量减半、KV头压到2个,再用Q Premix和Linear Postmix两个轻量线性操作把表达能力补回来。推理时能完全折叠成标准GQA-2架构,不增加额外计算开销。
Q2:VHA和GQA、MLA、MFA相比有什么优势?
A:KV缓存、训练推理计算量、模型质量这三个维度,VHA同时做到了最优。0.6B到30B-A3B多个规模的实验里,VHA准确率全部超过GQA基线,KV缓存比GQA-8小4倍,训练
Q3:VHA的Q Premix和Linear Postmix具体是做什么的?
A:Q Premix给每个KV组配一个接近单位矩阵的变换,把砍半后的查询头重新扩张出和原来一样多的虚拟查询头,恢复组内多样性。Linear Postmix用低秩的I+AB?结构在注意力输出上做跨组信息融合,补上不同KV组之间缺乏交流的短板。两者少一个,压缩损失都没法完全补齐。