两次线性变换就能同时解决大模型三大难题?

资讯 网易科技 作者:网易 全文 5978 字 · 约 15 分钟读完 配图 1 张 分类大模型

如何用两次线性变换,同时解决大模型的三个老大难问题

所属频道 模型发布

两次线性变换就能同时解决大模型三大难题?(配图 1)

大模型处理长文本的能力越来越强,可放到手机上跑却越来越吃力,这背后的原因是什么?

有一对矛盾,工程师们心里都清楚,却始终没能彻底化解。模型在读长文本时,会把此前算好的键值对(Key-Value)留在显存里,这样生成下一个字时就不必把前面的内容全部重算一遍。存下来的这部分,就叫

KV缓存:大模型生成文字时,为避免重复计算,把每一步算出的“钥匙”(Key)和“内容”(Value)保存下来、供后续步骤复用的显存区域。

麻烦在于,上下文一长,缓存就跟着膨胀。128K 的上下文窗口,意味着模型要同时记住十几万个字对应的全部键值对,显存很快被这些缓存占满,能留给实际计算和并发用户的空间越来越小。

结果,整个领域被三方力量拉扯:既希望KV缓存小一些,又希望训练和推理的计算量低一些,还希望模型效果别打折。这三件事很难同时满足。论文里把这种局面称为“不可能三角”,听上去有点夸张,可看看现有方法的表现,就知道并不夸张。

不可能三角究竟卡在哪里

先看业界采用最多的方案——分组查询注意力。

GQA(分组查询注意力):传统注意力机制中,每个查询头都配一套独立的键值对;GQA让多个查询头共用同一组键值对,以此压低显存占用。

GQA用 8 个KV头(简称GQA-8)时效果很好,可缓存开销同样不小,BF16 精度下每层每个token要占 4KB。要是简单粗暴地把KV头砍到 2 个(GQA-2),缓存确实能降到 1KB,代价又是什么?论文的实验数据给出了答案:1.7B 参数规模下,质量直接掉了 1.00%。

道理其实不难懂。8 个KV头时,平均每组是 2 个查询头共用一套键值信息;换成 2 个KV头后,每组一下子变成 8 个查询头抢同一套键值。信息被越摊越薄,模型自然越来越糊涂。

好比一个班原先 2 个学生配 1 个辅导老师,如今 8 个学生抢 1 个辅导老师,老师再强,分到每个学生身上的关注也稀薄得多,学习效果必然打折扣。师生比不压缩,缓存就降不下来;一压缩,质量就滑坡——GQA在“不可能三角”里卡住的正是这里。

换条路走呢?Multi-head Latent Attention另想办法。

MLA(多头潜在注意力):将键值对投影进一个低维的“潜空间”,用更小的向量来存,等到使用时再升维还原,缓存体积因此能大幅压缩。

MLA的确把缓存压到了 1.12KB,已经很接近GQA-2的水平,可代价是:论文测试的多个规模下,它的质量成绩都排在末尾。另一个方案叫Multi-matrix Factorization Attention。

MFA(多矩阵分解注意力):放大每个注意力头的维度,同时减少KV头数量,用更“胖”的头去补偿头数变少带来的信息损失。

MFA的质量确实不差,接近GQA-8的水准,缓存也压到了 1KB,看上去挺美。问题是它的训练和预填充(prefill,指处理输入提示词阶段的计算)FLOPs(浮点运算次数,衡量计算量的指标)在 1.7B 规模下涨了 49.8%。换句话说,为了省显存,得多烧掉近一半的计算资源,这笔账怎么算都不划算。

看到这里应该清楚了:三个指标就像拔河,拉一个,另外两个就被扯动。那有没有可能三头都不松?

Virtual Head Attention想出的两招

论文给出的方案叫Virtual Head Attention,简称VHA。

VHA(虚拟头注意力):一种注意力机制设计,核心思路是先把物理查询头数量减半、KV头数量压到 2 个,再用两个轻量的线性操作把丢掉的表达能力补回来,这两个操作分别叫Q Premix和Linear Postmix。

这个思路相当大胆:查询头直接砍一半,KV头也压到 2 个,正是前面提到的“doubly-compressed”(双重压缩)配置,单看压缩幅度,比GQA-2还狠。按前面的逻辑,质量应该掉得更惨才对。可VHA偏偏在这种最激进的压缩形态下把质量做了回来,甚至超过了没有压缩的GQA-8基线。

秘密就在那两个补偿操作上。

第一招:Q Premix,把砍掉的查询头“复活”

查询头既然减半,每个KV组里剩下的查询头就太少,表达能力不够用。Q Premix的做法是给每个KV组配一个专属的变换矩阵,组内剩下的查询头经过这个矩阵变换,就能“分裂”出与原来数量相同的虚拟查询头。

这个矩阵在初始化时被设成接近单位矩阵的样子,输入几乎原封不动,只掺入少量随机扰动。随着训练推进,它会逐渐偏离单位矩阵,最终为每个KV组学出各自的查询探测方向。

论文为此做了一项颇为硬核的验证:把训练完成后模型里的变换矩阵直接取出来观察。结果表明,该矩阵确实明显偏离单位矩阵,在1.7B模型的中后层偏离程度达到峰值5.85;不同KV组学到的矩阵之间差异也相当大,峰值6.13。两组学出的查询变换方式因此既不同,也不完全独立。

打个比方,一个厨房原本有8个厨师各管一摊摆盘,如今厨师减到4个,却给每人发了一副"分身魔法眼镜",戴上后能以两种不同的审视角度同时摆盘,一个人干出两份活。不发这副眼镜,厨师减半,摆盘花样也跟着减半,菜品丰富度直接打对折。这副眼镜的妙处在于:两份工作既不完全一样(否则等于没分身),也不是毫无关联(否则等于两个独立厨师,人力省不下来),而是各有侧重又互相借力。

第二招叫Linear Postmix,作用是为被切开的信息搭桥。

Premix解决了组内信息不够丰富的问题,可不同KV组之间仍然彼此隔绝,就像前面说的两组厨师互不通气。Linear Postmix要做的就是打通这堵墙。

具体做法是在注意力输出结果上套一层"单位矩阵加低秩残差"的变换,公式为 I + AB?。这个结构初看有些抽象,理解起来可以这样想:I(单位矩阵)意味着什么都不改,AB?这个低秩项则是在原有基础上做一次幅度不大、但有针对性的信息重新分配。

初始化时B矩阵被设成全零,AB?正好为零,所以训练刚起步时Postmix完全不起作用,相当于一个安全的起点。训练推进下去,B才慢慢学出有效的跨组信息融合模式。

论文还把训练完的Postmix矩阵画成桑基图(一种展示流量分布的可视化图表)。图上显示,信息流动主要发生在同组内部的头之间,属于重新分配;但也存在一小部分、却很稳定的"跨组桥梁",把原本隔开的两组信息悄悄连了起来。

打个比方,公司里财务部和市场部各忙各的,平时几乎不通气。后来定了个制度:每周挤出一点时间,让两个部门各出一名代表见一面,把要紧的情况对一对。交换的内容并不多,可两边因此不会越走越远。要是没这个制度,两个部门各管一摊,做决策时容易漏掉对方掌握的信息,整个公司的效率就受影响。这套安排高明的地方在于碰头频率压得很低(低秩约束),两个部门不必为了迁就对方而耽误手头的正事。

论文做了关键的消融实验,证明两招必须一起用。单独只用Premix,相比标准GQA-8跌了0.78%;单独只用Postmix,跌了0.14%;两者一起上,反而比GQA-8高了0.41%。可见Premix带来的"组内多样性"和Postmix带来的"跨组信息架桥"是两种互补能力,缺了哪一个都补不齐压缩造成的损失。

最妙的一点是:两招都是纯线性操作,没有引入任何非线性激活函数(比如常见的SiLU、ReLU)。这意味着训练完成后,Premix可以直接"焊接"进查询投影矩阵,Postmix可以直接"焊接"进输出投影矩阵,推理阶段不需要任何额外计算,模型瞬间变回标准的GQA-2架构,vLLM、SGLang这些业界成熟的推理加速框架可以直接套用。

这就像给汽车改装了一套涡轮增压系统,改完之后外壳看起来和普通汽车一模一样,维修厂师傅不用学新工具,按老办法保养就行。换成非线性激活,这层"伪装"就会穿帮,推理时得专门写一套新的计算内核,运维成本直接飙升,这也正是MLA方案被诟病"需要定制内核、推理流程不标准"的根源所在。

数据说话:五个规模全部验证。

论文在0.6B、1.7B、4B、8B-A1B(MoE架构,激活参数1B)四个规模上,用4K上下文、50B token做了预训练对比。

MoE(混合专家模型)指的是模型里包含很多个"专家"子网络,每次推理只激活其中一小部分,这样不必增加太多计算量,就能大幅扩充模型容量。

结果显示,VHA在每一个规模上都超过了标准GQA基线,涨幅从0.05%到0.81%不等;同时KV缓存在稠密模型规模上比GQA-8小了4倍,在MoE规模上比GQA-4小了2倍。1.7B规模下,训练和预填充的计算量还反过来降低了7.9%。

| 规模 | 方法 | 缓存(KB) | 平均准确率 |

| 0.6B | GQA | 4.00 | 50.42 |

| 0.6B | MFA | 1.00 | 50.66 |

| 0.6B | VHA | 1.00 | **51.04** |

| 1.7B | GQA | 4.00 | 54.09 |

| 1.7B | MFA | 1.00 | 54.06 |

| 1.7B | VHA | 1.00 | **54.50** |

| 4B | GQA | 4.00 | 56.90 |

| 4B | MFA | 1.00 | 56.94 |

| 4B | VHA | 1.00 | **57.71** |

| 8B-A1B | GQA | 2.00 | 54.86 |

| 8B-A1B | VHA | 1.00 | **54.91** |

这张表真正耐人寻味的是,VHA并非在某个规模上侥幸取胜——五个规模它全赢了,而且缓存占用是对手里最小的那一档。论文还额外做了一个更极端的实验:把GQA的KV头从8压到2,查询头也砍掉一半,凑成和VHA相同的8-2-2形状,但不加Premix和Postmix。结果这个不带补偿的双重压缩配置,比GQA-8整整掉了1.71%。同样是双重压缩形状,VHA不光把这1.71%的损失全部找回,还多出0.41%。

换句话说,问题不在压缩本身,而在于缺少补偿机制。VHA的那两个线性模块,恰好就是在压缩最狠的那个点上,把丢掉的表现力重新补了回来。

工业级规模上的验证也没出岔子。论文拿一个30B-A3B的MoE模型,用500B token、8K上下文训练,在12个基准测试上跑下来,VHA比GQA-4高2.60%,比MLA高0.70%,缓存却只占GQA-4的一半、MLA的89%。按General、数学与STEM、编程、多语言四个大类分开看,VHA在General上比GQA高出3.39个百分点,数学与STEM上高出3.31个百分点。这种领先比较均匀地摊在不同能力维度上,并不是靠某一项特别突出把平均分拉起来的。

长上下文场景里,差距更是被拉到了另一个量级。论文用一个10B-A1B规模的MoE模型,让全程用2个KV头的VHA和全程用4个KV头的GQA做对比,在RULER(专门测长上下文检索与推理的评测集)上,VHA在8K到128K区间的平均分是84.4,GQA只有73.0,差了11.4分。子任务里变量追踪(Variable Tracking)的差距最夸张:128K长度下VHA拿到83.0分,GQA只有3.0分。这已经谈不上渐进式优势,是断崖式的差距。

拆开来看,两个模块各自管一摊事

论文末尾专门用一节,分析训练完成的模型里Premix和Postmix究竟学出了什么内在结构。这部分读起来挺有意思。

对Premix的分析,排除了两种偷懒的可能。第一种是矩阵训练完之后几乎没动,还停在接近单位矩阵的状态,那这个模块等于白加;第二种是不同KV组学出了完全一致的矩阵,表面是多组、实际退化成一组。实测数据把这两种情况都否掉了:矩阵确实学出了明显偏离单位矩阵的变换,各组之间也确实存在显著差异,只是差异没到完全独立的程度,说明两组之间有种“学习上的默契”,既分化又协调。

Postmix那边,排除的是另一种偷懒:假如AB?这个低秩矩阵只在对角线上做简单缩放,相当于给每个头单独调音量,那就说明它压根没实现“跨头信息交流”的初始设计目的。桑基图的可视化结果清楚显示出大量非对角线信息流动,证明Postmix做的是真正的跨头信息重组,不是装样子的伪操作。

这种对训练完模型的“解剖式”验证,其实比单看最终准确率更让人信服。它回答的不是“这个方法有没有用”,而是“这个方法到底怎么起作用的”。一个方法效果再好,拆开一看里面什么都没学到(比如矩阵根本没变化),那说明效果可能来自别的因素,这个模块只是个摆设。VHA这里的分析,证明了两个模块确实各担各的角色,而非互相重复的冗余设计。

论文还提到,这套“训练时用复杂参数化、推理时折叠成简单形式”的思路,和两个经典工作在精神上相通。一个是RepVGG,训练时用多分支结构(3×3卷积加1×1卷积加恒等映射),推理时合并成单一卷积;另一个是LoRA,用低秩分解做参数高效微调。VHA把这个思路从单一权重矩阵的层面,往上推到了注意力机制的“头”这一维度,算是一次有意思的方法论迁移。

Q&A

Q1:Virtual Head Attention是什么?

A:Virtual Head Attention(VHA)是一种新型注意力机制。它的核心做法是:物理查询头数量减半、KV头压到2个,再用Q Premix和Linear Postmix这两个轻量线性操作把表达能力补回来;推理时能完全折叠成标准GQA-2架构,不产生额外计算开销。

Q2:VHA和GQA、MLA、MFA相比有什么优势?

A:KV缓存、训练推理计算量、模型质量这三个维度,VHA同时做到了最优。在0.6B到30B-A3B多个规模的实验中,VHA准确率全部超过GQA基线,KV缓存比GQA-8小4倍,训练FLOPs还比GQA基线低7.9%左右;MLA的问题是质量偏低,MFA则是计算量暴涨约50%。

Q3:VHA的Q Premix和Linear Postmix具体是做什么的?

A:Q Premix 的做法是给每个 KV 组都配上一个接近单位矩阵的变换,把被砍掉一半的查询头重新“扩张”回去,虚拟查询头的数量和原来一样多,组内多样性也就恢复了;Linear Postmix 则在注意力输出上做跨组信息融合,用的是低秩的 I+AB? 结构,补的是不同 KV 组之间缺少交流这个短板。这两样少掉任何一个,压缩带来的损失都没法完全补回来。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关 AI 工具

AI 导航
腾讯混元大模型 腾讯混元大模型由腾讯全链路自研,在文本和多模态模型性能方面表现卓越,处于业界领先水平。其混元 API 整合了… 大模型与开发平台 · tencent.com 快手可图大模型Kolors 可图大模型(Kolors)是快手大模型团队自研打造的文生图AI大模型,能够根据用户的文字输入生成风格多样、画… AI 绘画生图 · kuaishou.com 盘古大模型 华为盘古ai大模型官网入口,1100亿密集参数,40TB海量数据精细训练而成 简介 盘古NLP大模型是一项基… 大模型与开发平台 · huaweicloud.com BlueLM蓝心大模型 蓝心大模型官网,vivolm,vivo自研的通用大模型 简介 蓝心大模型(BlueLM ),强大的语言理解能… 聊天对话 · vivo.com 云知声山海大模型 云知声山海大模型是一个多功能、跨领域的智能大模型,它通过集成丰富的知识库和先进的自然语言处理技术,为用户提供… 大模型与开发平台 · unisound.com 子曰” 大模型 子曰是网易有道推出的教育领域垂直大模型,包含基于子曰大模型研发的六大创新应用——“LLM翻译”、“虚拟人口语… 聊天对话 · youdao.com 曹植大模型 曹植大语言模型是国内首个垂直行业专用的自主可控的国产GPT大语言模型,由达观数据研发。这个模型可以准确完成多… 聊天对话 · datagrand.com 西湖大模型 西湖大模型官网,智商情商俱佳的多模态大模型 简介 西湖大模型是西湖心辰开发的多模态大模型,西湖大模型既具备通… 聊天对话 · xinchenai.com

相关推荐 按相关度与热度排序

全部资讯 →
  1. DeepSeek调整API计费:搜索与网页抓取不再单收费,只按Token算

    11月18日12:00起,DeepSeek正式实施全新API计费规则,开发者在调用大模型过程中触发的服务端搜索与网页抓取功能不再单独收费,全面转为仅按模型Token用量计费。这一调整进一步简化了大模型的商业化计费链路,直接降低了开发者构建联网AI应用的综合成本。 根据DeepSeek官方披露的规则,

    来源 AI 开发者社区
  2. OpenAI自曝递归自我提升,智能体指数级爆发,人类已成瓶颈

    OpenAI毫无征兆地宣布:「递归自我提升」(RSI,Recursive Self-Improvement)的齿轮,已经正式开始转动。 通俗来说,OpenAI亲口作证:AI开始研发AI了! 长久以来,人们都在猜测超级人工智能(ASI)会在哪一天降临。大家盯着大模型的跑分,盯着参数量的飙升。 但OpenAI明确告诉你:通

    来源 AI 行业观察
  3. 港中深与微软研究院推ConvexLLM:语音免转写直连大模型

    在语音与多模态人工智能的演进中,如何让大模型更自然、更直接地“听懂”声音并完成复杂推理,一直是业界探索的核心方向。近期,香港中文大学(深圳)与微软研究院联合提出了名为 ConvexLLM 的多模态统一建模新架构,为语音与语言的融合提供了全新的技术思路。 核心创新:C-Gate 架构与“凸包映射”原理

    来源 AI 开发者社区
  4. 国产大模型接连限额:算力都去哪了?

    ► 文 观察者网心智观察所 2026年11月16日,不少用户在打开DeepSeek客户端或网页版时,意外收到了一条弹窗提示。系统告知用户,受算力约束,平台不再支持存续超过7天且无活跃交互的长对话,单次输入文字上限被缩短到约4万字,连续使用不到2小时的免费用户甚至会直接触发每日使用额度上限。无独有偶,就在20天前的10月

    来源 腾讯网
  5. 港中深联合微软研究院提出 ConvexLLM:让声音跳过转写,直接调用大模型推理能力

    语音与多模态AI发展中,让大模型直接“听懂”声音并复杂推理是核心方向。香港中文大学(深圳)与微软研究院联合提出ConvexLLM多模态统一建模新架构,为语音与语言融合提供新思路。其核心创新为C-Gate架构与“凸包映射”原理,意在突破传统先将语音转写为文本、再交由大语言模型处理的链路。

    来源 AI 产业速递
  6. 姚顺雨回清华姚班:大模型不拼指标赛马,RSI如何落到工程?

    11 月 18 日晚,腾讯首席 AI 科学家、混元大模型负责人姚顺雨回到母校清华大学交叉信息研究院(姚班),与本科同窗、清华交叉信息院助理教授吕凯风做了一场近距离的闭门问答交流。 作为姚班 2015 级校友与普林斯顿博士,姚顺雨曾参与提出将推理与行动结合的 ReAct 范式,是代码 Agent 评测基准 SWE-ben

    来源 AI 行业观察
  7. 火山引擎刘智恒:Agent进企业,缺的不是模型是上下文

    当 Agent 真正进入企业流程,哪些工作可以交给 AI ?50 + 实战案例揭晓答案! AI 正在从回答问题的辅助工具,走向理解目标、调用系统、完成任务的工作承担者。当 Agent 真正进入企业流程,问题不再是 “如何把 AI 做出来”,而是哪些工作可以交给 AI、结果如何验收、权限、成本与风险如何收住。随着大模型向

    来源 AI 行业观察
  8. Anthropic登陆纳斯达克:每股83美元,7位创始人百亿身家

    Anthropic即将开启自己的造富之路。这家以Claude大模型出圈的AI公司,定于当地时间11月19日在纳斯达克挂牌,股票代码ANT。 此前一日,Anthropic将其IPO的A类普通股定价为每股83美元,这一定价高于该公司此前的预估。Anthropic表示,此次发行包括980,000,000股A类普通股,其中95

    来源 AI 行业观察
  9. APEC深圳展望:算力围城怎么破,华夏时评给出分层思路

    全球人工智能赛道,正在上演一场“算力围城”。城外,头部大模型企业Anthropic登陆资本市场,抬高前沿竞争的门槛;城内,本土大模型DeepSeek拿到千亿级产业资本加持,却遇到算力芯片供给不确定性上升、算力租赁通道收紧等约束。如何跳出人工智能发展的简单追赶思维,在顶层统筹与开放协同之间找到一条突围路径?刚刚在深圳..

    来源 腾讯网
  10. 大语言模型开处方:单次就诊平均花费314美元,是人类医生三倍

    大语言模型(LLM)提供的临床诊疗方案,其费用是人类医生方案的三倍。一个研究小组让24个AI根据200个就诊记录提出诊断和治疗方案,这些就诊记录涉及不同的健康问题。随后,他们将AI模型提出的方案与医生实际提供的诊疗进行了比较。AI比医生开了更多的检查单、更多专科转诊和更多药物。按照AI的方案,患者每次就诊的平均费用..

    来源 腾讯网
  11. OpenAI调整安全策略:35秒内可停模型,第三方评估入驻内部

    21世纪经济报道记者肖潇 报道“前沿大模型的能力正在快速提升,我们理解、对齐和保障安全的能力必须走在前面。”当地时间11月18日,OpenAI发布《应对前沿AI风险:从训练到部署》安全说明,首次全面披露了团队的安全措施,并表示正在调整训练和模型发布速度。一个月前,Anthropic也宣布与第三方安全机构合作,让外部人员

    来源 腾讯网
  12. 计算医学补AI制药短板:十部门规划提出新路径

    AI制药发展到今天,出现了一个有些反直觉的现象。 一边,是模型能力的快速跃迁。AlphaFold之后,蛋白质结构预测已经发生根本变化,生成式AI开始进入蛋白设计、小分子设计、抗体发现,生命科学基础模型、大模型和科研智能体不断出现。2026年,OpenAI发布面向生物学、药物发现和转化医学的GPT-Rosalind。Is

    来源 AI 行业观察
  13. Superfluid 舰队模式:多台电脑连起来跑本地大模型

    本地跑大模型虽隐私安全,但单设备算力有限且易闲置。Superfluid 推出“舰队模式”,能将办公室内不同品牌、不同芯片的电脑(Mac、NVIDIA、AMD等)聚合成一个统一的推理端点。实测显示,六台异构设备协同可将吞吐量提升近五倍,且支持节点故障无缝切换,无需修改客户端代码即可享受分布式算力红利。

    来源 AI 应用前沿
  14. 蔚来重写NOMI底层架构:告别九年旧代码,3000项整车能力接入AI

    蔚来NOMI产研团队重写沿用九年的传统规则架构,转向以大模型主智能体为核心的原生技术架构,取消传统单向指令分发流程。新架构4月完成实车概念验证,8至9月完成3000项整车原子能力工具化改造,依托SkyOS·天枢系统运行,更多技术细节与推送计划将在11月25日公布。

    来源 凤凰科技
  15. 强模型不用每步都亲自动手,当个审稿人就够了

    你有没有遇到过这种上司:明明手下有个实习生能干活,但他总觉得"还是我自己来比较放心",结果事事亲力亲为,把自己累得半死,效率还上不去。大语言模型做智能体任务的时候,长期以来就是这么个状态。一个客服智能体要处理用户的退款请求,可能得走个三四十步:查用户信息、查订单、核对政策、查库存、最后才能执行退款、回...

    来源 腾讯网
向下滚动自动加载更多