千万token上下文:98%时间耗在选token,如何再快22倍?
编辑|Panda如今,百万 token 上下文已经从卖点变成了标配。4 月,DeepSeek-V4 把 1M 上下文定为所有官方服务的默认规格;8 月,智谱发布的 GLM-5.3-Flash 同样支持 1M 上下文,并首次在 GLM 系列中引入稀疏注意力与线性注意力的混合架构。这些模型背后有一个共同的选择:让每个 qu
百万 token 上下文眼下已是标配,不再是稀罕卖点。今年 4 月,让每个 query 不必翻遍全部历史 token、只挑最相关的少数几个来看。
这套思路在 1M 量级上已多次得到验证。但上下文往 1000 万 token 推,一项原本不起眼的开销开始失控:98% 的时间压根没花在注意力计算上,而是耗在判断「该看哪些 token」。问题的性质也就变了——稀疏注意力早就证明「只看一小部分」能保住精度,真正把超长上下文卡住的,是「找到那一小部分」仍随上下文长度按二次方增长。
伦敦初创公司 Prefrontal AI 与苏黎世联邦理工学院(ETH Zurich)现在联合发表论文,提出一种新方法:Latent Sparse Attention(LSA,隐空间稀疏注意力)。
在 10M token 下,它让 GLM-5.3-Flash 单个注意力层的 prefill 提速 22.7 倍,另一项提速 72.4 倍;同时在一系列任务上,精度与原模型相近。论文标题为 Latent Sparse Attention: Towards Subquadratic Ultra-Long Context Attention。
论文地址:https://arxiv.org/abs/2610.42147
代码地址:https://github.com/Prefrontal-AI/latent-sparse-attention
稀疏注意力有一笔看不见的成本。论文用 GLM-5.3-Flash 的单个全局注意力层、单张 H200 测过:上下文到 10M token 时,索引器吃掉了 prefill 总时间的 98%。
先看注意力的成本结构:标准全注意力里,每个 query 都要跟之前所有 key 算一遍相关性,上下文长度为 T 时,prefill 是 O(T²),每解码一个 token 是 O(T)。上下文从 100 万涨到 1000 万,prefill 的注意力计算量就跟着涨 100 倍。
稀疏注意力的办法是分工。先让一个轻量的「索引器」(indexer)替每个 query 挑出 k 个最相关的 key,真正的注意力只在这 k 个 key 上算,注意力本身的开销于是被压到 O(Tk)。
这套思路要成立,前提是模型确实只需要很少的 key。论文附录做了验证:在 128k token 下,让 Qwen3.8-27B 的每个 query 只看它「真正」最相关的 512 个 key(约占全部 key 的 0.8%),模型在
问题出在索引器身上,这里有个悖论。索引器要判断哪 512 个 key 最相关,就得先给每一个 key 打分。
DeepSeek 的索引器工作量还是随上下文线性增长,prefill 依然是二次方。
好比从一座藏书千万册的图书馆里借 4096 本书:借书本身很快,麻烦的是为了确定借哪 4096 本,得把每一本书的书脊都看一遍。书越多,看脊的时间越占大头。论文测算过,10M token 下,如果索引器的开销能降为零,稀疏注意力的 prefill 还能再快 58 倍。
超长上下文下传统稀疏注意力的耗时构成(GLM-5.3-Flash 单个全局注意力层,单张 H200)。10M token 时,索引器占 prefill 总时间的 98%。
不按时间排,按语义排
LSA 的解法是让索引器跳过逐个检查 key,转去检查「key 的分组」。
D-LSA 和 N-LSA 的总览。上半部分展示的是:在一个注意力层里,key 先经过池化、再聚类成桶,query 只为桶中心打分,随后只查看被选中的那些远程 key(另外还有 sink 和滑动窗口);下半部分则是这两种变体在精度和加速上的表现。
关键在于怎么分组。现有的块稀疏方法大多按位置分组,把相邻的几个 key 打成一个块,相当于图书馆按入库时间把书装箱,每箱贴一张摘要。麻烦在于,一箱里只要有一本关键的书,就可能被其余几本无关书目的摘要「淹没」。
LSA 选择按内容分组。它先把 key 投影到一个经过学习的低维隐空间(latent space)里,再在这个空间中用
换个说法,还是图书馆这个例子:书按主题上架,不再按入库日期装箱。想找量子纠错的书,走到对应那排书架就行;同一主题的书,可能十年间陆续入库,现在却挨在一起。
这一步带来的是常数级收益,论文里叫 Flat(扁平)搜索。真正动复杂度的是 Tree(树)变体:桶上面再聚成更大的「节点桶」,一层层往上,形成一棵层次树。query 从树顶出发,每一层只保留得分最高的若干分支往下走,也就是束搜索。先挑楼层、再挑区域、再挑书架,每个 query 只需检查 O(log T) 个中心向量。索引器的 prefill 因此从二次方降到 O(T log T),论文标题里的「次二次方」(subquadratic)说的就是这件事。两种搜索的样子见 D-LSA 设计图:左边是 Flat,key 经投影、池化、聚类后存进桶缓存,query 给桶中心打分,展开成 top-k 索引;右边是 Tree,桶被组织成多层层次结构,query 用束搜索逐层下探。
落地方式有两种,LSA 给了两条路:嫁接进已有模型,或者从头长出来。
一种是 D-LSA(Distilled-LSA),针对已经训练好的模型。原模型参数全部冻结,每层只加两个小投影矩阵,把 key 和 query 投到 64 维的索引空间,再用蒸馏让 LSA 的打分去逼近原模型注意力的分布。整套蒸馏只花了 3.52 亿 token。对比一下,DeepSeek DSA 光索引器的稠密预热阶段就用了 21 亿 token。论文还给了一个完全免训练的版本,直接拿 key 的主成分方向当投影,在 Qwen3.8-27B 上精度与训练版本接近。
另一种是 N-LSA(Native-LSA),预训练时就直接用 LSA,只靠标准的下一 token 预测损失来训练。它聚的是注意力自己的 key,不用额外的索引投影,不用教师模型,也不用辅助损失,模型参数量一个不增。
N-LSA 的做法是注意力层直接对自身的 key 聚类,仅靠下一 token 预测损失就能从头训练。
工程上,聚类、打分、选择、展开这几步,团队写了面向 H200 和 B300 的
1000 万 token 下的成绩单。
先看精度。团队拿 Qwen3.8-27B(注意力层为全注意力)和 GLM-5.3-Flash(自带稀疏注意力)两个模型测 D-LSA,把上下文推到 10M token,远超两者官方给出的 1M 上限。在
在 4k 到 10M token 的 RULER 上,Qwen3.8-27B 加 D-LSA 在 1M 以内与全注意力差距不超过 5 分,到 10M 反而以 63.9 比 59.9 反超。GLM-5.3-Flash 加 D-LSA 在 1M 以内与原生稀疏注意力相差 3 分以内,2M 到 5M 区间最多落后 8 分,10M 时差距回到 4 分以内。有一点要说清楚:GLM 的基线稀疏注意力是跟模型一起训练的,D-LSA 只是在冻结模型上做蒸馏,这个比较本身对基线有利。
团队另外搭了一个叫 PaperTrail 的新基准,用来在更接近真实情况的场景里考察超长上下文能力。做法是把一条条编出来的「研究线索」塞进大批真实的 2026 年 arXiv 论文里:某篇虚构论文抛出一个结果,若干真实论文中被人为插入引用它的段落,过几周又有另一篇虚构论文改掉数值、给方法换了名字,可部分后续论文照旧引用旧值——跟真实文献里的情形一个样。模型得按做文献综述的路子把这些事实找出来、串起来,10M 规模的样本里收了将近 400 到 465 篇论文。在这个基准上,10M token 下 Qwen3.8-27B 加 D-LSA 拿到 29.1 分,全注意力是 19.8 分。
知识、推理和长上下文任务(最长 10M token)上,D-LSA 的精度跟全注意力、稀疏注意力两类基线都差不多。
速度是这项工作最抢眼的地方。10M token 下,单层注意力的 prefill,D-LSA 比 GLM-5.3-Flash 的原生稀疏注意力快 22.7 倍,比 Qwen3.8-27B 的全注意力快 72.4 倍;decode 阶段这两个数字分别是 4.6 倍和 42.5 倍。上下文越长,加速比越大。1M token 时对 GLM-5.3-Flash 的 prefill 加速是 3.5 倍,512k 时只有 2.1 倍——短上下文里逐块扫描本来就花不了多少。按这个趋势往外推,1 亿 token 时 Tree 变体预计能比基线稀疏注意力快 90 倍以上。
单层的加速落到整个模型上会被摊薄,毕竟模型里还有一大堆不受影响的其他层。SGLang 实际部署中,10M token 下 D-LSA 把 GLM-5.3-Flash 的首 token 时间(索引占的显存同样更省。10M token 下,D-LSA 每层索引是 246 MiB,GLM-5.3-Flash 原生方案要 331 MiB,Qwen 风格的块稀疏方案则要 642 MiB。
D-LSA 单个全局注意力层的加速比(对数坐标)、10M token 下的索引显存,以及推到 100M token 的 prefill 耗时。
N-LSA 这边的实验规模小不少。团队从零训练了一个约 5 亿参数的混合模型,24 层里每 4 层有 1 层是注意力层,其余为
N-LSA 的训练加速。左图是单个注意力层前向加反向的加速比;右图是退火阶段整个模型的验证损失随训练时间的变化。
结语
这几年长上下文的主线,是让注意力「少看一点」。从固定的滑动窗口,到 DeepSeek 的 DSA,再到各家做的块稀疏方案,行业大体上已经证明:只看不到 1% 的 token,精度也撑得住。LSA 点出的是下一个卡点——「看」便宜了之后,「找」就成了大头。
把注意力层做成带层次索引的检索系统,思路本身不新鲜。