VHA注意力机制:查询头减半、KV头压到2个,质量反而超过GQA-8

资讯 腾讯网 作者:科技行者 全文 4728 字 · 约 12 分钟读完 分类大模型手机

你有没有想过,为什么现在的大模型越做越能处理长文本,但手机上跑起来却越来越卡?这背后藏着一个工程师们心知肚明却一直没彻底解决的矛盾。大模型在处理长文本时,需要把之前算过的键值对(Key-Value)存在显存里,这样下一个字生成的时候就不用重新计算前面所有内容。这个存起来的东西叫做KV缓存:大模型在生成文字时,...

所属频道 模型发布AI 硬件与终端

手机上跑大模型越来越卡,可模型处理长文本的能力却一年比一年强,这两件事为什么同时发生?

矛盾藏在显存里。模型生成文字时,前面算过的键值对(Key-Value)不会扔掉,而是存进一块显存空间备用,下一步生成就不用从头再算一遍。这块存起来的东西叫KV缓存——每一步算出的“钥匙”(Key)和“内容”(Value)都留在里面,供后续步骤复用。

上下文一长,缓存就跟着膨胀。128K的上下文窗口,意味着十几万个字的所有键值对要同时记着,显存很快被缓存占满,留给实际计算和并发用户的空间越来越少。

整个领域于是被三方拉扯:KV缓存想小一点,训练和推理的计算量想低一点,模型效果还想好一点。三件事很难同时做到。论文里管这个叫“

不可能三角

业界目前用得最多的方案叫GQA用8个KV头(简称GQA-8)效果很好,但缓存开销也大,在

GQA

道理不难懂。8个KV头时,平均每组有2个查询头共享一套键值信息;压到2个KV头,就变成每组8个查询头抢同一套键值。信息越稀释,模型越糊涂。好比一个班原来2个学生配1个辅导老师,现在8个学生抢1个辅导老师,老师再厉害,分到每个学生身上的关注也稀薄了,学习效果必然打折扣。师生比不压缩,缓存降不下来;压缩了,质量就滑坡——GQA就卡在“不可能三角”这里。

那换一条路呢?

MLA

MLA

MFA

MFA

三个指标像拔河,拉一个,另外两个就被扯动。有没有可能三头都不放松?

论文提出的方案叫Virtual Head Attention。VHA(虚拟头注意力)是一种注意力机制设计,核心思路是先把物理查询头数量砍半、KV头数量压到2个,再用两个轻量的线性操作把损失掉的表达能力补回来,分别叫

这个思路挺大胆:查询头直接砍一半,KV头也压到2个,正是前面说的“doubly-compressed”(双重压缩)配置。单看压缩幅度,比GQA-2还狠。按之前的逻辑,质量应该掉得更惨才对。可VHA偏偏在最激进的压缩形态上把质量做回来了,甚至超过没压缩的GQA-8基线。

秘密就在那两个补偿操作上。

第一招叫Q Premix,把砍掉的查询头“复活”。查询头砍半后,每个KV组里剩下的查询头太少,表达能力不够用。Q Premix的做法是给每个KV组配一个专属的变换矩阵,组内剩下的查询头经过这个矩阵一变换,就能“分裂”出和原来一样多的虚拟查询头。

这个变换矩阵一开始被初始化成接近单位矩阵(也就是几乎不改变输入),只加一点点随机扰动。训练过程中,这个矩阵会慢慢偏离

训练完成后,论文作者把模型里的这个变换矩阵直接取出来做了检查。结果发现,矩阵和单位矩阵差得相当明显,在1.7B模型的中后层偏离最厉害,峰值到5.85;不同KV组学到的矩阵之间也差得不小,峰值达6.13。这说明两组学到的是不一样的查询变换方式,但又不是完全各管各的。

打个比方,原先厨房里有8个厨师,每人负责一份摆盘;如今厨师只剩4个,却给每人配了一副“分身魔法眼镜”,戴上就能用两种不同的眼光同时摆盘,一个人顶两个人用。要是没这副眼镜,厨师少一半,摆盘的花样也跟着少一半,菜品的丰富度直接打对折。这副眼镜的关键在于:两份工作既不能一模一样,否则等于没分身;也不能毫无关系,否则就成了两个独立厨师,人力还是省不下来。它要的是两份工作各有侧重,又能互相借力。

第二招叫Linear Postmix,给砍开的信息架桥。Premix解决了组内信息不够丰富的问题,但不同KV组之间(比如上面说的两组厨师)彼此还是信息隔绝的。Linear Postmix就是来打通这堵墙的。

它的做法是在注意力输出结果上,套一层“单位矩阵加

训练起步时,B矩阵被初始化成全部为零,AB?恰好也就是零,Postmix在最初阶段压根不参与运算,等于给了模型一个稳妥的出发点。等到训练往前走,B才逐渐学到有用的跨组信息融合方式。

论文还把训练结束后的Postmix矩阵绘制成图,用来观察它究竟学到了什么。

打个比方,公司里的财务部和市场部原先各忙各的,彼此没有往来。后来添了一条制度:每周挤出一点时间,两个部门各出一个人碰个面,把关键信息通个气。信息量并不大,却足以让双方不至于越走越偏。没有这条制度,两个部门各干各的,做决策时漏掉对方的关键信息,公司整体效率就要打折扣。这条制度的高明之处在于碰面频次压得很低(低秩约束),不会让两个部门为了迁就对方而耽误本职。

论文安排了一项关键消融实验,结论是两招得配套使用。只上Premix,比标准GQA-8低0.78%;只上Postmix,低0.14%;两招一起用,反倒比GQA-8高出0.41%。照论文的说法,Premix带来的是“组内多样性”,Postmix负责的是“跨组信息架桥”,这两种能力互相补位,少掉哪一个都填不平压缩造成的损失。

最巧妙的地方在于:两招全是纯线性操作,没有掺入任何非线性激活函数(比如常见的SiLU、ReLU)。也就是说,训练完成后Premix能直接“焊接”进查询投影矩阵,Postmix能直接“焊接”进输出投影矩阵,推理阶段不用多算一步,模型立刻退回标准GQA-2架构,可以直接套用现成的推理优化。

相当于给一辆车加装了涡轮增压系统,改完之后外观和普通车看不出差别,修理厂的师傅不用再学新工具,照老办法保养即可。一旦用了非线性激活,这层“伪装”就藏不住了,推理时得专门写一套新的计算内核,运维开销跟着往上涨——MLA方案被诟病“需要定制内核、推理流程不标准”,根子就在这里。

数据也给出了答案:五个规模全部通过验证。

论文在0.6B、1.7B、4B、8B-A1B(

MoE(混合专家模型):模型内部包含许多“专家”子网络,每次推理只激活其中一小部分,从而在不明显增加计算量的前提下大幅扩充模型容量。

结果摆在那里:VHA在每个规模上都压过标准GQA基线,涨幅从0.05%到0.81%不等;KV缓存在稠密模型规模上比GQA-8小4倍,在MoE规模上比GQA-4小2倍。1.7B规模下,训练和

| 规模 | 方法 | 缓存(KB) | 平均准确率 |

|---|---|---|---|

| 0.6B | GQA | 4.00 | 50.42 |

| 0.6B | MFA | 1.00 | 50.66 |

| 0.6B | VHA | 1.00 | **51.04** |

| 1.7B | GQA | 4.00 | 54.09 |

| 1.7B | MFA | 1.00 | 54.06 |

| 1.7B | VHA | 1.00 | **54.50** |

| 4B | GQA | 4.00 | 56.90 |

| 4B | MFA | 1.00 | 56.94 |

| 4B | VHA | 1.00 | **57.71** |

| 8B-A1B | GQA | 2.00 | 54.86 |

| 8B-A1B | VHA | 1.00 | **54.91** |

这张表最耐人寻味的地方在于,VHA并非只在某个规模上侥幸取胜,五个规模它全都赢了,而且动用的缓存是对手里最小的那一档。还有更有意思的:论文专门补了一项更极端的测试,把GQA的KV头从8砍到2,查询头也砍掉一半,做成与VHA相同的8-2-2形状,但不加Premix和Postmix。这个“裸奔版”双重压缩配置比GQA-8整整低了1.71%。VHA用同样的双重压缩形状,把这1.71%的损失全部补了回来,还反超0.41%。

这背后其实说明一件事:压缩本身并不可怕,可怕的是压缩之后没人补。VHA那两个线性模块干的事,就是在最激进的压缩位置上,把丢掉的那部分表达力重新找回来。

工业级规模上也验证过,没出岔子。论文拿一个30B-A3B的MoE模型做实验,训练用了500B token、8K上下文,12个基准测试跑下来,VHA比GQA-4高2.60%,比MLA高0.70%;缓存占用只有GQA-4的一半、MLA的89%。分大类看,General上VHA领先GQA 3.39个百分点,数学与STEM上领先3.31个百分点。这种领先在不同能力维度上分布得比较均匀,不是靠某一项特别突出把平均分拉上去的。

长上下文场景里,差距被拉得更大。论文在一个10B-A1B规模的MoE模型上做了对比,一边是全程用2个KV头的VHA,另一边是全程用4个KV头的GQA,在

两个模块各干各的活,拆开看就清楚了。

论文末尾专门用一节分析训练完的模型,看Premix和Postmix究竟学出了什么内在结构。这部分读起来挺有味道。

先说Premix,分析排除了两种偷懒的可能。一种是矩阵训练完几乎没动,还停在接近单位矩阵的状态,那这个模块等于白加;另一种是不同KV组学出了一模一样的矩阵,看着是多组,实际退化成一组。实测数据把这两种都排除了:矩阵确实学出了明显偏离单位矩阵的变换,组与组之间也确实有显著差异。不过这个差异没到完全独立的程度,说明两组之间存在某种学习上的默契,既分化又协调。

Postmix那边排除的是另一种偷懒:假如AB?这个低秩矩阵只在对角线上做简单缩放,相当于给每个头单独调音量,那就说明它根本没实现跨头信息交流的初始设计目的。桑基图的可视化结果里能看到大量非对角线信息流动,说明Postmix确实在做真正的跨头信息重组,不是摆样子。

对训练完的模型做这种解剖式验证,比只看最终准确率更让人信服。它回答的不是这个方法有没有用,而是它到底怎么起作用。一个方法效果再好,拆开发现里面什么都没学到,比如矩阵根本没变化,那效果可能来自别的因素,这个模块本身就是摆设。VHA的分析证明两个模块各自承担了不同功能,不是互相重复的冗余设计。

论文还提到,训练时用复杂参数化、推理时折叠成简单形式这套思路,和两个经典工作在精神上相通。一个是

Q&A

Q1:Virtual Head Attention是什么?

A:Virtual Head Attention(VHA)是一种新型注意力机制。核心做法是物理查询头数量减半、KV头压到2个,再用Q Premix和Linear Postmix两个轻量线性操作把表达能力补回来。推理时能完全折叠成标准GQA-2架构,不增加额外计算开销。

Q2:VHA和GQA、MLA、MFA相比有什么优势?

A:KV缓存、训练推理计算量、模型质量这三个维度,VHA同时做到了最优。0.6B到30B-A3B多个规模的实验里,VHA准确率全部超过GQA基线,KV缓存比GQA-8小4倍,训练

Q3:VHA的Q Premix和Linear Postmix具体是做什么的?

A:Q Premix给每个KV组配一个接近单位矩阵的变换,把砍半后的查询头重新扩张出和原来一样多的虚拟查询头,恢复组内多样性。Linear Postmix用低秩的I+AB?结构在注意力输出上做跨组信息融合,补上不同KV组之间缺乏交流的短板。两者少一个,压缩损失都没法完全补齐。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 没收过钱的DeepSeek,限个流就成罪人了?

    要说哪家大模型公司在科技圈和开发者中口碑最好,DeepSeek 认第二,估计没几家敢认第一。 哥们平时也不买量投流,纯靠模型攒口碑。 但我真没想到,就这么一家浓眉大眼的公司,最近....

    来源 腾讯网
  2. OpenAI下场造机!首款AI手机细节曝光,直接叫板传统手机厂商

    【TechWeb】供应链最新消息显示,富士康旗下的富智康集团已拿下OpenAI手机项目订单,负责整机组装环节。据财联社报道,OpenAI的首款手机预计最快2027年底、最迟2028年正式亮相,除组装外,立讯精密、领益智造、瑞声科技等多家苹果供应链厂商也将参与零部件供应。截至目前,富士康方面尚未对上述消息作出回应,产品的

    来源 腾讯网
  3. Anthropic纳斯达克上市:1.5万亿美元估值背后,大模型正发生六个变化

    王强 腾讯研究院前沿科技研究中心主任今天晚上,Anthropic,这家成立不到六年的公司将在纳斯达克挂牌,股票代码ANT。其发展速度和规模,不得不说是一个技术和商业史上的奇迹,也让人们窥见了AI对未来经济、社会的巨大影响。按每股83美元的最终发行价,其完全摊薄估值约1.5万亿美元。根据目前大家的预期,上市后其市值可能会

    来源 腾讯网
  4. Andarium被苹果下架:开发者称iOS跑安卓App触审核红线

    IT之家 11 月 20 日消息,一款名为“Andarium”软件日前上架苹果 App Store 平台,这是一款安卓虚拟机软件,支持在 iPhone 和 iPad 上运行 Android 应用,引发网络热议。Andarium 的开发者 xieyi 今日发文,表示 Andarium 已被苹果从 App Store 下架

    来源 腾讯网
  5. 满屏校园App装不下“方便”二字 | 新京报快评

    ▲资料图:学生手机里的各类校园App。图/半月谈一整屏幕的校园App,已经成了不少大学生手机里的标配。用“慧生活798”接水、“胖乖生活”洗衣服、打开“今日校园”请假……看似各司其职,却让许多学生苦不堪言。11月19日,据半月谈报道,“校园App臃肿”的话题引发热议,仅在微博上,相关话题的阅读量就接近1亿次。校园App

    来源 腾讯网
  6. iPhone Duo人脸解锁实测:一张照片即解锁,苹果软件方案遇考

    本周,苹果向iPhone Duo推送了iOS 27.3 Beta 2开发者固件,新增了一项基于前置摄像头的人脸解锁功能。由于iPhone Duo并未配备Face ID所需的TrueDepth硬件,这一功能被视为苹果用软件手段弥补硬件缺位的尝试。然而日前有博主发布实测视频称,仅凭一张照片就成功解锁了iPhone Duo—

    来源 TechWeb
  7. iPhone Duo人脸解锁实测:一张照片即破解,苹果的软件补位靠谱吗

    本周,苹果向iPhone Duo推送了iOS 27.3 Beta 2开发者固件,新增了一项基于前置摄像头的人脸解锁功能。由于iPhone Duo并未配备Face ID所需的TrueDepth硬件,这一功能被视为苹果用软件手段弥补硬件缺位的尝试。然而日前有博主发布实测视频称,仅凭一张照片就成功解锁了iPhone Duo—

    来源 TechWeb
  8. 内存涨价逼出“灰色操作”:二手拆机内存杀入手机供应链,价格直接打5折

    持续上涨的内存价格,正在悄悄改变手机行业的供应链格局。据数码博主透露,内存厂商预计2027年内存价格仍将持续上涨,这轮涨价行情可能延续至2028年上半年,直到下半年才逐步进入平稳期。而为了应对成本压力,部分小品牌和山寨手机厂商已经开始在百元机、千元机上使用拆机二手内存——更值得关注的是,2027年部分主流手机品牌也可能

    来源 TechWeb
  9. Meta推AI设备Muse Charm:定价300美元,智能手表延至2027年

    据媒体报道,Meta计划将Muse Charm定价为300美元,附赠12个月免费5G服务,并提供补贴降低用户购买门槛。Muse Charm是一款配备屏幕的小巧设备,内置5G功能,无需依赖Wi-Fi或随身携带手机,即可随时使用Meta旗下AI助手Muse。扎克伯格此前表示,Muse Charm计划于12月假期购物季期间上

    来源 华尔街见闻
  10. Anthropic上市首日破发:2万亿市值难撑,AI股集体下挫

    出品 | 妙投APP作者 | 董必政编辑 | 丁萍头图 | 视觉中国美东时间11月19日中午,纳斯达克的钟声为Anthropic而响。这是一家成立近六年的公司,做大模型的,名字大部分A股股民还念不顺。它的IPO定价83美元,公开发行9.8亿股,募资813.4亿美元;加上谷歌、英伟达等七家产业伙伴按发行价认购的260亿美

    来源 腾讯网
  11. 余承东:鸿蒙智行主动安全已避免潜在碰撞超542万次

    IT之家 11 月 20 日现场消息,在今日举行的鸿蒙智行享界 V8 及星芒品牌发布会直播上,华为常务董事、产品投资评审委员会主任、终端 BG 董事长余承东表示,截止 2026 年 11 月 19 日,鸿蒙智行主动安全累计避免可能的碰撞超过 542 万次。 IT之家在现场获悉,针对合作车型,鸿蒙智行累计新增 130+

    来源 AI 行业观察
  12. DeepSeek调整API计费:搜索与网页抓取不再单收费,只按Token算

    11月18日12:00起,DeepSeek正式实施全新API计费规则,开发者在调用大模型过程中触发的服务端搜索与网页抓取功能不再单独收费,全面转为仅按模型Token用量计费。这一调整进一步简化了大模型的商业化计费链路,直接降低了开发者构建联网AI应用的综合成本。 根据DeepSeek官方披露的规则,

    来源 AI 开发者社区
  13. 华为星芒刘赫:得麒麟芯者得天下,OSTA O1 Pro 搭载麒麟 9030S 旗舰 τ 芯片

    IT之家 11 月 20 日现场消息,在今天下午的鸿蒙智行享界 V8 及星芒品牌发布会上,华为 OSTA 星芒品牌总经理刘赫登台,介绍了华为星芒开山之作 —— OSTA O1 Pro 的详细信息。 刘赫表示,江湖上有句古话,得麒麟芯者得天下。OSTA O1 Pro 搭载麒麟 9030S 旗舰 τ 芯片,支持软硬芯云垂直

    来源 AI 行业观察
  14. Andarium被苹果下架:iPhone跑安卓应用的路只剩侧载

    IT之家 11 月 20 日消息,一款名为“Andarium”软件日前上架苹果 App Store 平台,这是一款安卓虚拟机软件,支持在 iPhone 和 iPad 上运行 Android 应用,引发网络热议。 Andarium 的开发者 xieyi 今日发文,表示 Andarium 已被苹果从 App Store 下

    来源 AI 行业观察
  15. DeepSeek调整API计费:服务端搜索与网页抓取不再单独收费

    11月18日12:00起,DeepSeek实施新API计费规则:调用大模型触发的服务端搜索、网页抓取不再单独收费,统一仅按模型Token用量计费。此举简化商业化计费链路,降低开发者构建联网AI应用成本。官方称,免费服务端搜索覆盖多元开发者生态接口,触发场景包括原生联网等。整体利好联网AI应用开发。

    来源 AI 产业速递
  16. OpenAI首款AI硬件定了:2026年底出货,富士康、立讯精密参与

    富士康旗下富智康集团已获得OpenAI手机项目订单,将参与相关产品的整机组装。据《证券时报》报道,富士康同时也是苹果iPhone的主要组装商。若OpenAI手机最终面市,将正式进入智能手机终端市场,并可能围绕AI交互体验与现有手机品牌展开直接竞争。 据报道,OpenAI首款AI硬件产品计划于2026

    来源 AI 开发者社区
  17. 港中深联合微软研究院提出多模态统一建模新架构ConvexLLM,让声音接上大模型已经学会的知识与推理

    本研究由香港中文大学(深圳)与 微软研究院(Microsoft Research)联合完成。通讯作者武执政是香港中文大学(深圳)副教授、国家级青年人才、安菲翁科技创始人。刘树杰是微软研究院首席研究员,长期从事自然语言处理、语音处理方面研究。徐明晧、王宇翔、申英达是港中深博士生、硕士生。胡宇轩和李锦宇来自微软 CoreA

    来源 腾讯网
  18. 阿里巴巴:自研旗舰芯片将被优先用于支持基础模型的训练与迭代

    11月19日,阿里巴巴(BABA.US)高管在业绩电话会上表示,2027年之后,我们新增的AI芯片产能将主要以国产自主芯片为主。同时,我们也会从其他国内供应商采购部分芯片,主要用于支持推理类工作负载。我们的自研旗舰芯片将被优先用于支持基础模型的训练与迭代,同时也将为紧密合作伙伴提供训练算力支持。因此,公司将进行均衡..

    来源 腾讯网
  19. ChatGPT和Gemini被曝推送虚假购物网站:151品牌测试出错率几何?

    最近有一项新研究爆出了一个很值得大家警惕的问题:AI聊天机器人居然会主动给用户推荐虚假购物网站。 品牌保护服务商Podqi做了一组测试,一共覆盖151个不同品牌。 测试结果显示,Perplexity给出风险网址的概率高达15%,ChatGPT和Gemini的情况也好不到哪里去,出错比例和它相差不远。 很多人已经习惯买东

    来源 AI 行业观察
  20. OpenAI首款AI硬件定档2026年底出货:立讯独家整机,富智康也入局

    富士康旗下富智康获OpenAI手机项目订单,将参与整机组装。富士康也是苹果iPhone主要组装商。若OpenAI手机面市,将进入智能手机终端市场,围绕AI交互体验与现有品牌直接竞争。报道称,OpenAI首款AI硬件计划2026年底出货,多家中国厂商参与,立讯精密独家负责整机制造,并供应核心部件。

    来源 AI 产业速递
向下滚动自动加载更多