两次线性变换就能同时解决大模型三大难题?
如何用两次线性变换,同时解决大模型的三个老大难问题

大模型处理长文本的能力越来越强,可放到手机上跑却越来越吃力,这背后的原因是什么?
有一对矛盾,工程师们心里都清楚,却始终没能彻底化解。模型在读长文本时,会把此前算好的键值对(Key-Value)留在显存里,这样生成下一个字时就不必把前面的内容全部重算一遍。存下来的这部分,就叫
KV缓存:大模型生成文字时,为避免重复计算,把每一步算出的“钥匙”(Key)和“内容”(Value)保存下来、供后续步骤复用的显存区域。
麻烦在于,上下文一长,缓存就跟着膨胀。128K 的上下文窗口,意味着模型要同时记住十几万个字对应的全部键值对,显存很快被这些缓存占满,能留给实际计算和并发用户的空间越来越小。
结果,整个领域被三方力量拉扯:既希望KV缓存小一些,又希望训练和推理的计算量低一些,还希望模型效果别打折。这三件事很难同时满足。论文里把这种局面称为“不可能三角”,听上去有点夸张,可看看现有方法的表现,就知道并不夸张。
不可能三角究竟卡在哪里
先看业界采用最多的方案——分组查询注意力。
GQA(分组查询注意力):传统注意力机制中,每个查询头都配一套独立的键值对;GQA让多个查询头共用同一组键值对,以此压低显存占用。
GQA用 8 个KV头(简称GQA-8)时效果很好,可缓存开销同样不小,BF16 精度下每层每个token要占 4KB。要是简单粗暴地把KV头砍到 2 个(GQA-2),缓存确实能降到 1KB,代价又是什么?论文的实验数据给出了答案:1.7B 参数规模下,质量直接掉了 1.00%。
道理其实不难懂。8 个KV头时,平均每组是 2 个查询头共用一套键值信息;换成 2 个KV头后,每组一下子变成 8 个查询头抢同一套键值。信息被越摊越薄,模型自然越来越糊涂。
好比一个班原先 2 个学生配 1 个辅导老师,如今 8 个学生抢 1 个辅导老师,老师再强,分到每个学生身上的关注也稀薄得多,学习效果必然打折扣。师生比不压缩,缓存就降不下来;一压缩,质量就滑坡——GQA在“不可能三角”里卡住的正是这里。
换条路走呢?Multi-head Latent Attention另想办法。
MLA(多头潜在注意力):将键值对投影进一个低维的“潜空间”,用更小的向量来存,等到使用时再升维还原,缓存体积因此能大幅压缩。
MLA的确把缓存压到了 1.12KB,已经很接近GQA-2的水平,可代价是:论文测试的多个规模下,它的质量成绩都排在末尾。另一个方案叫Multi-matrix Factorization Attention。
MFA(多矩阵分解注意力):放大每个注意力头的维度,同时减少KV头数量,用更“胖”的头去补偿头数变少带来的信息损失。
MFA的质量确实不差,接近GQA-8的水准,缓存也压到了 1KB,看上去挺美。问题是它的训练和预填充(prefill,指处理输入提示词阶段的计算)FLOPs(浮点运算次数,衡量计算量的指标)在 1.7B 规模下涨了 49.8%。换句话说,为了省显存,得多烧掉近一半的计算资源,这笔账怎么算都不划算。
看到这里应该清楚了:三个指标就像拔河,拉一个,另外两个就被扯动。那有没有可能三头都不松?
Virtual Head Attention想出的两招
论文给出的方案叫Virtual Head Attention,简称VHA。
VHA(虚拟头注意力):一种注意力机制设计,核心思路是先把物理查询头数量减半、KV头数量压到 2 个,再用两个轻量的线性操作把丢掉的表达能力补回来,这两个操作分别叫Q Premix和Linear Postmix。
这个思路相当大胆:查询头直接砍一半,KV头也压到 2 个,正是前面提到的“doubly-compressed”(双重压缩)配置,单看压缩幅度,比GQA-2还狠。按前面的逻辑,质量应该掉得更惨才对。可VHA偏偏在这种最激进的压缩形态下把质量做了回来,甚至超过了没有压缩的GQA-8基线。
秘密就在那两个补偿操作上。
第一招:Q Premix,把砍掉的查询头“复活”
查询头既然减半,每个KV组里剩下的查询头就太少,表达能力不够用。Q Premix的做法是给每个KV组配一个专属的变换矩阵,组内剩下的查询头经过这个矩阵变换,就能“分裂”出与原来数量相同的虚拟查询头。
这个矩阵在初始化时被设成接近单位矩阵的样子,输入几乎原封不动,只掺入少量随机扰动。随着训练推进,它会逐渐偏离单位矩阵,最终为每个KV组学出各自的查询探测方向。
论文为此做了一项颇为硬核的验证:把训练完成后模型里的变换矩阵直接取出来观察。结果表明,该矩阵确实明显偏离单位矩阵,在1.7B模型的中后层偏离程度达到峰值5.85;不同KV组学到的矩阵之间差异也相当大,峰值6.13。两组学出的查询变换方式因此既不同,也不完全独立。
打个比方,一个厨房原本有8个厨师各管一摊摆盘,如今厨师减到4个,却给每人发了一副"分身魔法眼镜",戴上后能以两种不同的审视角度同时摆盘,一个人干出两份活。不发这副眼镜,厨师减半,摆盘花样也跟着减半,菜品丰富度直接打对折。这副眼镜的妙处在于:两份工作既不完全一样(否则等于没分身),也不是毫无关联(否则等于两个独立厨师,人力省不下来),而是各有侧重又互相借力。
第二招叫Linear Postmix,作用是为被切开的信息搭桥。
Premix解决了组内信息不够丰富的问题,可不同KV组之间仍然彼此隔绝,就像前面说的两组厨师互不通气。Linear Postmix要做的就是打通这堵墙。
具体做法是在注意力输出结果上套一层"单位矩阵加低秩残差"的变换,公式为 I + AB?。这个结构初看有些抽象,理解起来可以这样想:I(单位矩阵)意味着什么都不改,AB?这个低秩项则是在原有基础上做一次幅度不大、但有针对性的信息重新分配。
初始化时B矩阵被设成全零,AB?正好为零,所以训练刚起步时Postmix完全不起作用,相当于一个安全的起点。训练推进下去,B才慢慢学出有效的跨组信息融合模式。
论文还把训练完的Postmix矩阵画成桑基图(一种展示流量分布的可视化图表)。图上显示,信息流动主要发生在同组内部的头之间,属于重新分配;但也存在一小部分、却很稳定的"跨组桥梁",把原本隔开的两组信息悄悄连了起来。
打个比方,公司里财务部和市场部各忙各的,平时几乎不通气。后来定了个制度:每周挤出一点时间,让两个部门各出一名代表见一面,把要紧的情况对一对。交换的内容并不多,可两边因此不会越走越远。要是没这个制度,两个部门各管一摊,做决策时容易漏掉对方掌握的信息,整个公司的效率就受影响。这套安排高明的地方在于碰头频率压得很低(低秩约束),两个部门不必为了迁就对方而耽误手头的正事。
论文做了关键的消融实验,证明两招必须一起用。单独只用Premix,相比标准GQA-8跌了0.78%;单独只用Postmix,跌了0.14%;两者一起上,反而比GQA-8高了0.41%。可见Premix带来的"组内多样性"和Postmix带来的"跨组信息架桥"是两种互补能力,缺了哪一个都补不齐压缩造成的损失。
最妙的一点是:两招都是纯线性操作,没有引入任何非线性激活函数(比如常见的SiLU、ReLU)。这意味着训练完成后,Premix可以直接"焊接"进查询投影矩阵,Postmix可以直接"焊接"进输出投影矩阵,推理阶段不需要任何额外计算,模型瞬间变回标准的GQA-2架构,vLLM、SGLang这些业界成熟的推理加速框架可以直接套用。
这就像给汽车改装了一套涡轮增压系统,改完之后外壳看起来和普通汽车一模一样,维修厂师傅不用学新工具,按老办法保养就行。换成非线性激活,这层"伪装"就会穿帮,推理时得专门写一套新的计算内核,运维成本直接飙升,这也正是MLA方案被诟病"需要定制内核、推理流程不标准"的根源所在。
数据说话:五个规模全部验证。
论文在0.6B、1.7B、4B、8B-A1B(MoE架构,激活参数1B)四个规模上,用4K上下文、50B token做了预训练对比。
MoE(混合专家模型)指的是模型里包含很多个"专家"子网络,每次推理只激活其中一小部分,这样不必增加太多计算量,就能大幅扩充模型容量。
结果显示,VHA在每一个规模上都超过了标准GQA基线,涨幅从0.05%到0.81%不等;同时KV缓存在稠密模型规模上比GQA-8小了4倍,在MoE规模上比GQA-4小了2倍。1.7B规模下,训练和预填充的计算量还反过来降低了7.9%。
| 规模 | 方法 | 缓存(KB) | 平均准确率 |
| 0.6B | GQA | 4.00 | 50.42 |
| 0.6B | MFA | 1.00 | 50.66 |
| 0.6B | VHA | 1.00 | **51.04** |
| 1.7B | GQA | 4.00 | 54.09 |
| 1.7B | MFA | 1.00 | 54.06 |
| 1.7B | VHA | 1.00 | **54.50** |
| 4B | GQA | 4.00 | 56.90 |
| 4B | MFA | 1.00 | 56.94 |
| 4B | VHA | 1.00 | **57.71** |
| 8B-A1B | GQA | 2.00 | 54.86 |
| 8B-A1B | VHA | 1.00 | **54.91** |
这张表真正耐人寻味的是,VHA并非在某个规模上侥幸取胜——五个规模它全赢了,而且缓存占用是对手里最小的那一档。论文还额外做了一个更极端的实验:把GQA的KV头从8压到2,查询头也砍掉一半,凑成和VHA相同的8-2-2形状,但不加Premix和Postmix。结果这个不带补偿的双重压缩配置,比GQA-8整整掉了1.71%。同样是双重压缩形状,VHA不光把这1.71%的损失全部找回,还多出0.41%。
换句话说,问题不在压缩本身,而在于缺少补偿机制。VHA的那两个线性模块,恰好就是在压缩最狠的那个点上,把丢掉的表现力重新补了回来。
工业级规模上的验证也没出岔子。论文拿一个30B-A3B的MoE模型,用500B token、8K上下文训练,在12个基准测试上跑下来,VHA比GQA-4高2.60%,比MLA高0.70%,缓存却只占GQA-4的一半、MLA的89%。按General、数学与STEM、编程、多语言四个大类分开看,VHA在General上比GQA高出3.39个百分点,数学与STEM上高出3.31个百分点。这种领先比较均匀地摊在不同能力维度上,并不是靠某一项特别突出把平均分拉起来的。
长上下文场景里,差距更是被拉到了另一个量级。论文用一个10B-A1B规模的MoE模型,让全程用2个KV头的VHA和全程用4个KV头的GQA做对比,在RULER(专门测长上下文检索与推理的评测集)上,VHA在8K到128K区间的平均分是84.4,GQA只有73.0,差了11.4分。子任务里变量追踪(Variable Tracking)的差距最夸张:128K长度下VHA拿到83.0分,GQA只有3.0分。这已经谈不上渐进式优势,是断崖式的差距。
拆开来看,两个模块各自管一摊事
论文末尾专门用一节,分析训练完成的模型里Premix和Postmix究竟学出了什么内在结构。这部分读起来挺有意思。
对Premix的分析,排除了两种偷懒的可能。第一种是矩阵训练完之后几乎没动,还停在接近单位矩阵的状态,那这个模块等于白加;第二种是不同KV组学出了完全一致的矩阵,表面是多组、实际退化成一组。实测数据把这两种情况都否掉了:矩阵确实学出了明显偏离单位矩阵的变换,各组之间也确实存在显著差异,只是差异没到完全独立的程度,说明两组之间有种“学习上的默契”,既分化又协调。
Postmix那边,排除的是另一种偷懒:假如AB?这个低秩矩阵只在对角线上做简单缩放,相当于给每个头单独调音量,那就说明它压根没实现“跨头信息交流”的初始设计目的。桑基图的可视化结果清楚显示出大量非对角线信息流动,证明Postmix做的是真正的跨头信息重组,不是装样子的伪操作。
这种对训练完模型的“解剖式”验证,其实比单看最终准确率更让人信服。它回答的不是“这个方法有没有用”,而是“这个方法到底怎么起作用的”。一个方法效果再好,拆开一看里面什么都没学到(比如矩阵根本没变化),那说明效果可能来自别的因素,这个模块只是个摆设。VHA这里的分析,证明了两个模块确实各担各的角色,而非互相重复的冗余设计。
论文还提到,这套“训练时用复杂参数化、推理时折叠成简单形式”的思路,和两个经典工作在精神上相通。一个是RepVGG,训练时用多分支结构(3×3卷积加1×1卷积加恒等映射),推理时合并成单一卷积;另一个是LoRA,用低秩分解做参数高效微调。VHA把这个思路从单一权重矩阵的层面,往上推到了注意力机制的“头”这一维度,算是一次有意思的方法论迁移。
Q&A
Q1:Virtual Head Attention是什么?
A:Virtual Head Attention(VHA)是一种新型注意力机制。它的核心做法是:物理查询头数量减半、KV头压到2个,再用Q Premix和Linear Postmix这两个轻量线性操作把表达能力补回来;推理时能完全折叠成标准GQA-2架构,不产生额外计算开销。
Q2:VHA和GQA、MLA、MFA相比有什么优势?
A:KV缓存、训练推理计算量、模型质量这三个维度,VHA同时做到了最优。在0.6B到30B-A3B多个规模的实验中,VHA准确率全部超过GQA基线,KV缓存比GQA-8小4倍,训练FLOPs还比GQA基线低7.9%左右;MLA的问题是质量偏低,MFA则是计算量暴涨约50%。
Q3:VHA的Q Premix和Linear Postmix具体是做什么的?
A:Q Premix 的做法是给每个 KV 组都配上一个接近单位矩阵的变换,把被砍掉一半的查询头重新“扩张”回去,虚拟查询头的数量和原来一样多,组内多样性也就恢复了;Linear Postmix 则在注意力输出上做跨组信息融合,用的是低秩的 I+AB? 结构,补的是不同 KV 组之间缺少交流这个短板。这两样少掉任何一个,压缩带来的损失都没法完全补回来。