Prefrontal AI联合ETH提出LSA:10M上下文注意力提速22.7倍
干万token下,比DeepSeek式稀疏注意力再快22倍
百万 token 上下文眼下已是标配,不再是卖点。4 月,
DeepSeek-V4 把 1M 上下文设为所有官方服务的默认规格;8 月,智谱发布的 GLM-5.3-Flash 也支持 1M 上下文,并在 GLM 系列中第一次把稀疏注意力与线性注意力混在一起用。这些模型做法一致:每个 query 不再翻遍全部历史 token,只挑少数最相关的来看。
在 1M 这个量级上,这条路已经被反复验证过。但上下文往 1000 万 token 推,一项原先不显眼的开销就压不住了。拿 GLM-5.3-Flash 的一个全局注意力层来说,10M token 下做 prefill,98% 的时间没花在注意力计算上,花在了判断「该看哪些 token」的索引器上。
这样一来,问题的性质就变了。稀疏注意力早就证明,只看一小部分足以保住精度;真正让超长上下文卡住的,是找出那一小部分的过程仍会随上下文长度按二次方增长。
伦敦初创公司 Prefrontal AI 与苏黎世联邦理工学院(ETH Zurich)现在联合发了一篇论文,提出一种新方法,叫 Latent Sparse Attention(LSA,隐空间稀疏注意力)。
在 10M token 下,它让 GLM-5.3-Flash 单个注意力层的 prefill 快了 22.7 倍,Qwen3.8-27B 则快了 72.4 倍;同时,在一系列任务上,精度与原模型相近。
-
这篇论文的题目是 Latent Sparse Attention: Towards Subquadratic Ultra-Long Context Attention。
-
论文地址:https://arxiv.org/abs/2610.42147
-
代码地址:https://github.com/Prefrontal-AI/latent-sparse-attention
稀疏注意力有一笔不容易被看见的成本。
先看注意力的成本是怎么来的。标准全注意力中,每个 query 都要跟此前所有 key 逐一算相关性;上下文长度记为 T 时,prefill 的计算量为 O(T²),每解码一个 token 则是 O(T)。上下文从 100 万 token 拉到 1000 万 token,prefill 在注意力上的计算量就会翻 100 倍。
稀疏注意力的做法是把活分出去:先让一个轻量的「索引器」(indexer)替每个 query 选出 k 个最相关的 key,真正的注意力只在这 k 个 key 上算。注意力本身的开销由此压到 O(Tk)。
这套做法要成立,前提是模型确实只需少量 key。论文附录对此做了验证:在 128k token 下,让 Qwen3.8-27B 的每个 query 只关注它「真正」最相关的 512 个 key(约占全部 key 的 0.8%),模型在 RULER 长上下文基准上仍能保住全注意力 98% 的精度。
可这里有个绕不开的矛盾:索引器要判断哪 512 个 key 最相关,就得先给每个 key 打分。DeepSeek 的 DSA、MiniMax 的稀疏注意力,还有 GLM-5.3-Flash、Qwen 等模型用的块稀疏方案,各自靠降精度、减维度、把 4 个 key 压成 1 个等办法给索引器「减负」。问题是这些改进只是把常数项除了几倍,索引器的工作量仍旧随上下文线性增长,prefill 也还是二次方。
可以这样理解:从一座藏书上千万册的图书馆里借 4096 本书,借书动作本身不慢,费劲的是确定借哪 4096 本——得把每本书的书脊都过一遍。书越多,看脊的时间占比越大。论文测算,10M token 下若索引器开销能归零,稀疏注意力的 prefill 还可再快 58 倍。
超长上下文下传统稀疏注意力的耗时构成(GLM-5.3-Flash 单个全局注意力层,单张 H200):到 10M token 时,索引器占 prefill 总时间的 98%。
不按时间排,改按语义排
LSA的做法是换掉逐个检查key这一步,转向检查「key的分组」。
上图为D-LSA与N-LSA总览:在一个注意力层里,key先经过池化和聚类变成桶,query只对桶中心打分,随后仅查看被选中的远程key,此外还有sink和滑动窗口;下图给出两种变体的精度与加速表现。
分组方式才是要害。现有块稀疏方法多数按位置切块,把挨着的几个key归成一块。这好比图书馆按入库时间装箱,每箱贴一张摘要。可一箱里只要有一本关键的书,它的信息就可能被其余几本无关书目的摘要「淹没」。
LSA改成按内容分组。key先被投影进一个经过学习的低维隐空间(latent space),随后在这个空间里用层次聚类(Ward方法)把语义接近的key放进同一个「桶」(bucket),每个桶只留一个中心向量,外加一张记录桶内key位置的索引表。查询阶段,query只与桶的中心向量打分,挑出最相关的若干桶,再把桶「展开」成具体key,凑满k个送进注意力。
还拿图书馆打比方:书不按入库日期装箱,改按主题上架。想找量子纠错的书,直奔那一排书架即可;同一主题的书可能十年间陆续入库,却摆在一起。
这一步带来的收益是常数级的,论文称之为Flat(扁平)搜索。真正改变复杂度的是Tree(树)变体:桶再往上聚成更大的「节点桶」,一层层叠成一棵层次树。query从树顶往下走,每层只保留得分最高的若干分支(束搜索)。先选楼层、再选区域、再选书架,每个query只需检查O(log T)个中心向量,索引器的prefill从二次方降到O(T log T),论文标题里的「次二次方」(subquadratic)正由此而来。
D-LSA设计:左边是Flat搜索,key经投影、池化、聚类后写入桶缓存,query对桶中心打分并展开为top-k索引;右边是Tree搜索,桶被组织成多层层次结构,query以束搜索逐层下探。
落地有两种路径:接到已有模型上,或者从零训练。
LSA给出了两种使用方式。
其一是D-LSA(Distilled-LSA),针对已经训练好的模型。原模型全部参数被冻结,每层仅加两个小投影矩阵,把key和query投到64维的索引空间,再借蒸馏让LSA的打分逼近原模型注意力的分布。整轮蒸馏只消耗3.52亿token;作为参照,DeepSeek DSA仅索引器的稠密预热阶段就用了21亿token。论文另给了一个完全免训练的版本,直接拿key的主成分方向当投影,在Qwen3.8-27B上与训练版本精度接近。
第二种做法叫 N-LSA(Native-LSA),预训练阶段就直接用上 LSA,训练信号只有标准的下一 token 预测损失。它不对注意力另加索引投影,也无需教师模型或辅助损失,聚类的对象就是注意力层自己的 key,模型参数量一点没涨。这套设计的要点在于:注意力层直接对自身 key 做聚类,从头训练仅靠下一 token 预测损失即可完成。
落到工程实现上,团队针对 H200 和 B300 写了聚类、打分、选择、展开四类 GPU kernel,另外还有一版 Triton 实现,能在任意 GPU 上跑。LSA 也被接进了 SGLang,张量并行、专家并行、流水线并行都支持,prefill 与 decode 阶段的上下文并行同样覆盖。
1000 万 token 下的成绩单
先看精度。测试选了两个模型:Qwen3.8-27B 的注意力层是全注意力,GLM-5.3-Flash 则自带稀疏注意力。团队在其上跑 D-LSA,把上下文拉到 10M token,比两者官方标称的 1M 上限高出不少。MMLU-Pro、GPQA-Diamond、AIME25、MATH500、LongBench v2 这些覆盖知识、推理和长上下文的任务上,D-LSA 的成绩都落在基线 95% 置信区间内,模型推理长度也没出现明显变化。
在 4k 到 10M token 的 RULER 上,Qwen3.8-27B 加 D-LSA 在 1M 以内与全注意力的分差没有超过 5 分,到 10M 时反倒以 63.9 比 59.9 领先。GLM-5.3-Flash 加 D-LSA 这边,1M 以内与原生稀疏注意力相差不到 3 分,2M 至 5M 区间最多落后 8 分,10M 时差距收回到 4 分以内。不过要说明一点:GLM 的基线稀疏注意力是跟模型一起训练的,D-LSA 只在冻结模型上做了蒸馏,这个对比其实对基线更有利。
团队还搭了一个新基准 PaperTrail,用来在更贴近现实的场景里考察超长上下文能力。它的做法是把一条条虚构的「研究线索」塞进大量真实的 2026 年 arXiv 论文:一篇虚构论文给出某个结果,若干真实论文里被插入引用它的段落,几周后另一篇虚构论文修正数值、给方法改名,而部分后续论文仍沿用旧值——跟真实的学术文献一个样子。模型得仿照做文献综述的路子,把这些事实找出来并串起来,10M 规模的样本包含近 400 到 465 篇论文。在该基准上,Qwen3.8-27B 加 D-LSA 在 10M token 下拿到 29.1 分,全注意力为 19.8 分。
知识、推理与长上下文任务(最长 10M token)上,D-LSA 的精度与全注意力、稀疏注意力基线相当。
速度是这项工作最扎眼的地方。10M token 下,单层注意力的 prefill,D-LSA 比 GLM-5.3-Flash 的原生稀疏注意力快 22.7 倍,比 Qwen3.8-27B 的全注意力快 72.4 倍;decode 阶段分别快 4.6 倍和 42.5 倍。加速比随上下文变长而拉大:1M token 时对 GLM-5.3-Flash 的 prefill 加速是 3.5 倍,512k 时只有 2.1 倍,原因在于上下文短的时候逐块扫描本来就不算贵。按这个趋势外推,Tree 变体在 1 亿 token 时预计能比基线稀疏注意力快 90 倍以上。
不过,单层里的加速效果放到整个模型上会被摊薄——模型里还有不少层根本不受影响。按 SGLang 实际部署的数据,10M token 下 D-LSA 把 GLM-5.3-Flash 的首 token 时间(TTFT)压到原来的约 1/2.2(上下文并行),由约 7.5 分钟降至约 3.4 分钟;Qwen3.8-27B 这边缩短 9.2 倍,从约 76 分钟落到约 8 分钟。
索引占用的显存同样更低。10M token 时,D-LSA 每层索引为 246 MiB,GLM-5.3-Flash 原生方案要 331 MiB,Qwen 风格的块稀疏方案则需 642 MiB。
上述结果对应三组数据:D-LSA 单个全局注意力层的加速比(对数坐标)、10M token 下的索引显存,以及外推到 100M token 的 prefill 耗时。
N-LSA 这边的实验规模小不少。团队从零训练了一个约 5 亿参数的混合模型,24 层里每 4 层设 1 层注意力层,其余是 Gated DeltaNet 线性注意力层,在 128k token 上下文下做退火训练。结果是 N-LSA 的验证损失与全注意力打平,都是 1.085;同样稀疏预算下,PISA、NSA 和滑动窗口注意力分别是 1.100、1.117 和 1.154。128k 的 RULER 上,N-LSA 拿到 32.2,全注意力为 34.7,NSA 和 PISA 掉到 19.2 和 14.6。训练速度上,单个注意力层的前向加反向在 128k 时比 FlashAttention-3 的全注意力实现快 1.6 倍。
N-LSA 的训练加速情况:左图是单个注意力层前向加反向的加速比,右图是退火阶段整个模型的验证损失随训练时间的变化。
结语
长上下文这几年的竞争主线,是让注意力「少看一点」。从固定滑动窗口,到 DeepSeek 的 DSA,再到各家的块稀疏方案,只看不到 1% 的 token 也能保住精度,这一点行业已基本验证。LSA 指向的是下一个瓶颈:当「看」变便宜了,「找」就成了开销的大头。
把注意力层做成带层次索引的检索系统,这个思路不算新。Reformer、Routing Transformer 等早期工作都试过按内容组织 key,但真正在 1M 以上规模同时验证精度和速度的方法此前并不多。Agent 已经开始承担持续数天的科研、编程等长程任务,上下文窗口只会继续变长,到时候左右成本曲线的,可能正是索引器的复杂度。