DeepSeek-V4稀疏注意力:1M上下文提速22倍?
如今,百万 token 上下文已经从卖点变成了标配。4 月,DeepSeek-V4 把 1M 上下文定为所有官方服务的默认规格;8 月,智谱发布的 GLM-5.3-Flash 同样支持 1M 上下文,并首次在 GLM 系列中引入稀疏注意力与线性注意力的混合架构。这些模型背后有一个共同的选择:让每个 query 不再看遍
百万 token 上下文眼下已是标配,不再算什么卖点。4 月,
DeepSeek-V4 把 1M 上下文设为全部官方服务的默认规格;到了 8 月,智谱的 GLM-5.3-Flash 也支持 1M 上下文,并且在 GLM 系列里头一回把稀疏注意力与线性注意力混在一起用。这些模型有一个共同的取舍:每个 query 不必把历史 token 全扫一遍,只挑少数最相关的来看。
在 1M 这个量级上,这条路子已经被验证过很多次。可上下文一旦往 1000 万 token 推,原先不起眼的一笔开销就压不住了。拿 GLM-5.3-Flash 的一个全局注意力层来说,10M token 下做 prefill,98% 的时间根本没花在注意力计算上,而是耗在判断「该看哪些 token」的索引器里。
问题的性质也就跟着变了。稀疏注意力早就证明,只看一小部分足以保住精度;真正把超长上下文卡住的,是「找到那一小部分」这件事本身仍随上下文长度二次方增长。
伦敦初创公司 Prefrontal AI 与苏黎世联邦理工学院(ETH Zurich)现在联合发了一篇论文,提出一种叫 Latent Sparse Attention(LSA,隐空间稀疏注意力)的新方法。

按论文数据,10M token 下,它让 GLM-5.3-Flash 单个注意力层的 prefill 快了 22.7 倍,Qwen3.8-27B 快了 72.4 倍,同时在一系列任务上精度与原模型接近。

- 论文标题:Latent Sparse Attention: Towards Subquadratic Ultra-Long Context Attention
- 论文地址:https://arxiv.org/abs/2610.42147
- 代码地址:https://github.com/Prefrontal-AI/latent-sparse-attention
稀疏注意力的「隐形账单」
先看注意力的成本结构。标准全注意力里,每个 query 都要跟此前所有 key 算一遍相关性,上下文长度为 T 时,prefill 计算量是 O(T²),每解码一个 token 是 O(T)。上下文从 100 万涨到 1000 万,prefill 的注意力计算量就得涨 100 倍。
稀疏注意力的办法是分工:先让一个轻量的「索引器」(indexer)替每个 query 挑出 k 个最相关的 key,真正的注意力只在这 k 个 key 上算。注意力本身的开销就这样压到了 O(Tk)。
这套思路要成立,有个前提:模型确实只需要很少的 key。论文附录专门做了验证:128k token 下,让 Qwen3.8-27B 的每个 query 只看它「真正」最相关的 512 个 key(约占全部 key 的 0.8%),模型在 RULER 长上下文基准上仍能保住全注意力 98% 的精度。
悖论就藏在这儿。索引器要知道哪 512 个 key 最相关,就得先给每个 key 打分。DeepSeek 的 DSA、MiniMax 的稀疏注意力,还有 GLM-5.3-Flash、Qwen 等模型用的块稀疏方案,各有各的减负办法——降精度、减维度、把 4 个 key 压成 1 个,可这些改进无非把常数项除以几倍,索引器的工作量照样随上下文线性增长,prefill 依旧是二次方。
打个比方:从一座藏书千万册的图书馆里借 4096 本书,借书本身很快,麻烦的是为了定下借哪 4096 本,你得把每本书的书脊都看一遍。书越多,看脊的时间越占大头。论文测算,10M token 下,如果索引器的开销能降到零,稀疏注意力的 prefill 还能再快 58 倍。

超长上下文下传统稀疏注意力的耗时构成(GLM-5.3-Flash 单个全局注意力层,单张 H200)。10M token 时,索引器占 prefill 总时间的 98%。
不按时间排,按语义排
LSA 的解法是让索引器别再逐个检查 key,转去检查「key 的分组」。

D-LSA 与 N-LSA 概览。上图画出注意力层里的做法:key 先经过池化、聚类归入各个桶,query 则只对桶中心打分,随后仅查看被挑中的远端 key,另外还带上 sink 和滑动窗口;下图给出两种变体在精度和加速上的表现。
怎么分组才是关键。现有块稀疏方法大多按位置分,把相邻几个 key 打成一块,相当于图书馆按入库时间把书装箱,每箱贴一张摘要。问题在于,一箱里只要有一本关键的书,就可能被其余几本无关书目的摘要「淹没」。
LSA 改按内容分组。它先把 key 投影到一个经过学习的低维隐空间(latent space),再在这个空间里用层次聚类(Ward 方法)把语义相近的 key 归进同一个「桶」(bucket),每个桶只留一个中心向量和一张记录桶内 key 位置的索引表。查询时,query 只需跟桶的中心向量打分,选出最相关的若干个桶,再把桶「展开」成具体的 key,凑满 k 个送进注意力。
还拿图书馆作比:书不再按入库日期装箱,而是按主题上架。要找量子纠错的书,直接走到那一排书架就行——同一主题的书可能是十年间陆续入库的,但它们挨在一起。
论文把这一步叫作 Flat(扁平)搜索,它带来的只是常数级收益。复杂度真正被改掉的是 Tree(树)变体:在桶的基础上继续聚合,形成更大的「节点桶」,一层层往上搭出一棵层次树。query 从树顶往下走,每层只沿得分最高的若干分支继续(束搜索)。可以理解成先挑楼层、再挑区域、最后挑书架,于是每个 query 只用检查 O(log T) 个中心向量,索引器 prefill 的开销从二次方降到 O(T log T)——论文标题中「次二次方」(subquadratic)指的就是这件事。

D-LSA 设计。左为 Flat 搜索:key 经投影、池化、聚类后存入桶缓存,query 给桶中心打分并展开为 top-k 索引;右为 Tree 搜索:桶被组织成多层层次结构,query 用束搜索逐层下探。
这套机制有两种落地路径:塞进已经训好的模型里,或者让它从预训练阶段就长在模型里。
LSA给出了两条实施路线。D-LSA(Distilled-LSA)走的是第一条,针对训练完成的模型:原模型参数全部冻住,每层仅加两个小投影矩阵,把key和query投进64维索引空间,再靠蒸馏让LSA的打分逼近原模型注意力分布。整套蒸馏消耗3.52亿token;对照来看,DeepSeek DSA光索引器的稠密预热阶段就用掉21亿token。论文另外给了一个完全不用训练的版本,拿key的主成分方向直接当投影,在Qwen3.8-27B上精度和训练版差不多。
第二条路是N-LSA(Native-LSA):预训练阶段就原生使用LSA,只依赖标准的下一token预测损失。它直接对注意力自身的key做聚类,不用额外索引投影,不用教师模型,也不用辅助损失,模型参数量一个不增。

N-LSA的设计思路是让注意力层对自己的key聚类,仅凭下一token预测损失就能从头训练。
工程实现上,团队针对H200和B300写了聚类、打分、选择、展开的GPU kernel,另有一个能在任意GPU上跑的Triton版本;LSA也被接进了SGLang,支持张量并行、专家并行、流水线并行,以及prefill和decode阶段的上下文并行。
千万token量级的表现
精度先看。团队拿Qwen3.8-27B(注意力层为全注意力)和GLM-5.3-Flash(自带稀疏注意力)测试D-LSA,上下文推到10M token,远超两者官方1M的上限。MMLU-Pro、GPQA-Diamond、AIME25、MATH500、LongBench v2等知识、推理与长上下文任务上,D-LSA全部落在基线95%置信区间内,模型推理长度也没有明显变化。RULER从4k测到10M:Qwen3.8-27B加D-LSA在1M以内与全注意力差距不超过5分,到10M反而以63.9比59.9实现反超;GLM-5.3-Flash加D-LSA在1M以内与原生稀疏注意力相差3分以内,2M到5M区间最多落后8分,10M时差距收回到4分以内。要注意GLM的基线稀疏注意力是和模型一起训练的,D-LSA只是在冻结模型上做蒸馏,这个对比其实对基线更有利。
为在更贴近实际的场景里检验超长上下文,团队还搭了一个新基准PaperTrail。做法是把一条条虚构的「研究线索」埋进大量真实的2026年arXiv论文:一篇虚构论文给出某个结果,若干真实论文里被插入引用它的段落;几周后另一篇虚构论文修改数值、给方法改名,而部分后续论文仍在引用旧值——和真实学术文献的演进一样。模型得照着做文献综述的路子把这些事实找出来并串起来,10M规模的样本含近400到465篇论文。该基准上,Qwen3.8-27B加D-LSA在10M token下拿到29.1分,全注意力为19.8。

知识、推理和长上下文任务(最长10M token)上,D-LSA的精度与全注意力、稀疏注意力基线相当。
速度是这项工作最抓眼球的地方。10M token下单个注意力层的prefill,D-LSA比GLM-5.3-Flash原生稀疏注意力快22.7倍,比Qwen3.8-27B全注意力快72.4倍;decode阶段分别快4.6倍和42.5倍。这个加速比随上下文变长而拉大:1M token时对GLM-5.3-Flash的prefill加速是3.5倍,512k时仅2.1倍,原因是上下文短的时候逐块扫描本身就不贵。按趋势外推,Tree变体在1亿token时预计比基线稀疏注意力快90倍以上。单层加速传到整个模型会被稀释,毕竟模型里还有大量不受影响的其他层。SGLang实际部署中,10M token下D-LSA让GLM-5.3-Flash的首token时间(TTFT)缩短2.2倍(上下文并行),从约7.5分钟降到约3.4分钟;Qwen3.8-27B的首token时间缩短9.2倍,从约76分钟降到约8分钟。
索引的显存占用也更省。10M token下D-LSA每层索引占246 MiB,GLM-5.3-Flash原生方案为331 MiB,Qwen风格的块稀疏方案则要642 MiB。

图中依次是D-LSA单个全局注意力层的加速比(对数坐标)、10M token下的索引显存,以及外推到100M token的prefill耗时。
N-LSA的实验规模小得多。团队从头训了一个约5亿参数的混合模型,24层里每4层有1层是注意力层,其余是Gated DeltaNet线性注意力层,在128k token上下文下做退火训练。结果N-LSA的验证损失与全注意力完全打平(均为1.085),同等稀疏预算下PISA、NSA和滑动窗口注意力分别是1.100、1.117和1.154。128k的RULER上N-LSA得32.2,全注意力34.7,NSA和PISA掉到19.2和14.6。训练速度上,单个注意力层的前向加反向在128k时比FlashAttention-3实现的全注意力快1.6倍。

配图展示N-LSA的训练加速:左为单个注意力层前向加反向的加速比,右为退火阶段整个模型验证损失随训练时间的变化。
结语
这几年,长上下文领域比拼的重点一直落在让注意力「少看一点」上。从早期固定的滑动窗口,到DeepSeek的DSA,再到各家推出的块稀疏方案,业内已经大致验证:只关注不到1%的token,精度依然保得住。LSA点出的则是下一道坎——「看」的成本降下来之后,「找」反而成了开销的大头。
把注意力层做成带层次索引的检索系统,这个思路其实不算新鲜,Reformer、Routing Transformer等早期研究都试过按内容来组织key。不过在此之前,很少有方法能在1M以上的规模上把精度和速度一并验证清楚。Agent眼下开始接手科研、编程这类要连着跑数天的长程任务,上下文窗口只会越拉越长。到那时候,左右成本曲线的,或许就是索引器本身的复杂度。