Prefrontal AI与ETH提出LSA:10M token下注意力层提速72.4倍
稀疏注意力新解法:千万token下注意力层最高提速72倍
百万 token 的上下文,今天已经不算什么卖点,早成了标配。4 月,
DeepSeek-V4 把 1M 上下文设成所有官方服务的默认规格;到了 8 月,智谱的 GLM-5.3-Flash 也支持 1M 上下文,并且在 GLM 系列里头一回把稀疏注意力和线性注意力混着用。这些模型有一个共同做法:每个 query 不再把全部历史 token 都扫一遍,只挑少数最相关的来看。
这条路子在 1M 量级上已经反复得到验证。可上下文往 1000 万 token 推的时候,有一笔原先没人当回事的开销开始压不住了。拿 GLM-5.3-Flash 的一个全局注意力层来说,10M token 下做 prefill,98% 的时间根本没花在注意力计算上,而是花在索引器上——它负责判断「该看哪些 token」。
问题也就变了味道。稀疏注意力早就证明「只看一小部分」够用,精度保得住;真正拖住超长上下文的是「找到那一小部分」这件事,它照样随上下文长度按二次方涨。
伦敦初创公司 Prefrontal AI 和苏黎世联邦理工学院(ETH Zurich)如今联合发了一篇论文,提出一种新方法,叫 Latent Sparse Attention(LSA,隐空间稀疏注意力)。

10M token 下,GLM-5.3-Flash 单个注意力层的 prefill 被它提速 22.7 倍,Qwen3.8-27B 则提速 72.4 倍;同时在一系列任务上,精度和原模型差不多。

- 论文标题:Latent Sparse Attention: Towards Subquadratic Ultra-Long Context Attention
- 论文地址:https://arxiv.org/abs/2610.42147
- 代码地址:https://github.com/Prefrontal-AI/latent-sparse-attention
稀疏注意力的「隐形账单」
先看注意力的成本怎么算。标准全注意力里,每个 query 都要跟前面所有 key 算一遍相关性;上下文长度是 T 时,prefill 的计算量为 O(T²),每解码一个 token 是 O(T)。上下文从 100 万涨到 1000 万,prefill 的注意力计算量就得涨 100 倍。
稀疏注意力的办法是分工:先让一个轻量的「索引器」(indexer)替每个 query 挑出 k 个最相关的 key,真正的注意力只在这 k 个 key 上算。注意力本身的开销就这样被压到 O(Tk)。
这个思路要成立,得有个前提:模型确实只需要很少的 key。论文附录专门做了验证——128k token 下,让 Qwen3.8-27B 的每个 query 只看它「真正」最相关的 512 个 key(约占全部 key 的 0.8%),在 RULER 长上下文基准上,模型还能保住全注意力 98% 的精度。
可这里头有个悖论。索引器要知道哪 512 个 key 最相关,前提是先把每一个 key 都打过分。DeepSeek的 DSA、MiniMax的稀疏注意力,还有 GLM-5.3-Flash、Qwen 这些模型用的块稀疏方案,各自想了些办法给索引器「减负」:降精度、减维度、把 4 个 key 压成 1 个。可这些改进只是把常数项除了几倍,索引器的工作量还是随上下文线性增长,prefill 依旧是二次方。。
打个比方:从一座藏书上千万册的图书馆里借 4096 本书,借书本身很快,麻烦在于你得把每一本书的书脊都看一遍,才知道借哪 4096 本。书越多,看脊背的时间越占大头。论文测算过,10M token 下要是索引器的开销能降到零,稀疏注意力的 prefill 还能再快 58 倍。

超长上下文下传统稀疏注意力的耗时构成(GLM-5.3-Flash 单个全局注意力层,单张 H200)。10M token 时,索引器占 prefill 总时间的 98%。
不按时间排,按语义排
LSA 的解法是让索引器别逐个查 key,改去查「key 的分组」。

D-LSA 和 N-LSA 的整体情况。上半部分讲的是一个注意力层里的流程:key 先经过池化、再聚类成若干桶,query 只对桶中心打分,随后仅查看被选中的远程 key,另外还带上 sink 和滑动窗口;下半部分给出两种变体在精度和加速上的表现。
分组方式才是要害。眼下多数块稀疏做法都照位置切分,把挨着的几个key捆成一块,好比图书馆按到货时间装箱、每箱贴张摘要。麻烦在于,箱里只要混进一本关键的书,它的信息就可能被同箱那几本不相干的书目摘要盖住。
LSA改走内容路线。它先将key投影进一个经学习得到的低维隐空间,随后在该空间里用层次聚类(Ward方法)把语义相近的key装进同一个「桶」,桶里只留一个中心向量,外加一张记下桶内key位置的索引表。查询时query先与桶中心向量打分,挑出最相关的几个桶,再把桶「展开」成具体key,凑够k个送进注意力。
还拿图书馆打比方:书不按入库日期装箱了,改按主题上架。想找量子纠错的书,直奔那一排书架即可;同一主题的书也许十年间陆续到货,却摆在一起。
这一步带来的是常数级收益,论文称之为Flat(扁平)搜索。真正把复杂度改掉的是Tree(树)变体:桶之上再聚成更大的「节点桶」,一层层往上垒成一棵层次树。query从树顶起步,每层只保留得分最高的若干分支继续往下(束搜索)。这就像先挑楼层、再挑区域、再挑书架,每个query只需检查O(log T)个中心向量,索引器的prefill从二次方降到O(T log T),论文标题里的「次二次方」(subquadratic)说的就是这件事。

D-LSA设计。左侧是Flat搜索:key经投影、池化、聚类后进入桶缓存,query为桶中心打分并展开成top-k索引;右侧是Tree搜索:桶被组织成多层层次结构,query靠束搜索逐层下探。
两种用法:嫁接进已有模型,或者从头长出来
LSA的落地方式有两种。
其一是D-LSA(Distilled-LSA),针对已训练完成的模型。原模型参数全部冻结,每层只加两个小投影矩阵,把key和query投到64维的索引空间,再用蒸馏让LSA的打分逼近原模型注意力的分布。整轮蒸馏只消耗3.52亿token,作为参照,DeepSeekDSA光索引器的稠密预热阶段就用了21亿token。论文另给了一个完全免训练的版本,直接拿key的主成分方向当投影,在Qwen3.8-27B上精度与训练版本接近。
其二是N-LSA(Native-LSA),预训练阶段就原生使用LSA,只依赖标准的下一token预测损失来训练。它直接对注意力自身的key做聚类,既不用额外的索引投影,也不需要教师模型和辅助损失,模型参数量一个不增。

N-LSA设计。注意力层直接对自身的key聚类,仅靠下一token预测损失即可从头训练。
工程实现上,团队针对H200和B300编写了聚类、打分、选择、展开的GPU kernel(另有一个能在任意GPU上跑的Triton版本),并把LSA接进了SGLang,支持张量并行、专家并行、流水线并行,以及prefill和decode阶段的上下文并行。
1000万token下的成绩单
先看精度。团队拿Qwen3.8-27B(注意力层为全注意力)和GLM-5.3-Flash(自带稀疏注意力)两个模型测D-LSA,把上下文推到10M token,远超两者官方给出的1M上限。在MMLU-Pro、GPQA-Diamond、AIME25、MATH500、LongBench v2等知识、推理和长上下文任务上,D-LSA均落在基线的95%置信区间内,模型的推理长度也没有明显变化。
在4k到10M token的RULER上,Qwen3.8-27B加D-LSA在1M以内与全注意力的差距不超过5分,到10M反倒以63.9比59.9实现反超。GLM-5.3-Flash加D-LSA在1M以内与原生稀疏注意力相差3分以内,2M到5M区间最多落后8分,10M时差距收回到4分以内。需要说明的是,GLM的基线稀疏注意力与模型一起训练,而D-LSA只是在冻结模型上做了蒸馏,这个比较本身对基线有利。
为在更贴近现实的场景里检验超长上下文能力,团队还造了一个新基准PaperTrail。
它把一条条虚构的「研究线索」塞进大量真实的2026年arXiv论文里:一篇虚构论文给出某个结果,若干真实论文中被插入引用它的段落,几周后另一篇虚构论文修正数值并给方法改名,而部分后续论文仍在引用旧值,与真实学术文献的情形相仿。模型要像做文献综述那样找到这些事实并串起来,10M规模的样本包含近400到465篇论文。在这个基准上,Qwen3.8-27B加D-LSA在10M token下得分29.1,全注意力为19.8。

D-LSA在知识、推理与长上下文任务(最长10M token)上的精度,与全注意力及稀疏注意力基线相当。
再看速度,这也是整项工作最抢眼的地方。10M token下单个注意力层的prefill,D-LSA比GLM-5.3-Flash原生稀疏注意力快22.7倍,比Qwen3.8-27B的全注意力快72.4倍;decode阶段分别快4.6倍和42.5倍。加速比随上下文变长而拉大:1M token时对GLM-5.3-Flash的prefill加速为3.5倍,512k时只有2.1倍,原因是上下文较短时逐块扫描本就不贵。按趋势外推,Tree变体在1亿token时预计比基线稀疏注意力快90倍以上。
放到整个模型里,单层获得的加速会被摊薄,毕竟还有不少层并不受这套机制影响。SGLang 的实际部署给出了具体数字:10M token 下,D-LSA 把 GLM-5.3-Flash 的首 token 时间(TTFT)压短 2.2 倍(上下文并行),从约 7.5 分钟降至约 3.4 分钟;Qwen3.8-27B 这边缩短 9.2 倍,从约 76 分钟降到约 8 分钟。
索引自身吃掉的显存同样更少。10M token 时,D-LSA 每层索引为 246 MiB,GLM-5.3-Flash 原生方案要 331 MiB,Qwen 风格的块稀疏方案则为 642 MiB。

图中给出三项数据:D-LSA 单个全局注意力层的加速比(对数坐标)、10M token 下的索引显存,以及外推到 100M token 的 prefill 耗时。
N-LSA 那边的实验规模小不少。团队从零训练了一个约 5 亿参数的混合模型,24 层里每 4 层安排 1 层注意力层,其余是 Gated DeltaNet 线性注意力层,并在 128k token 上下文下做退火训练。结果是 N-LSA 的验证损失与全注意力打平,都是 1.085;同样稀疏预算下,PISA、NSA 和滑动窗口注意力分别是 1.100、1.117 和 1.154。128k 的 RULER 上,N-LSA 拿到 32.2,全注意力为 34.7,NSA 和 PISA 掉到 19.2 和 14.6。训练速度上,128k 时单个注意力层的前向加反向,比 FlashAttention-3 实现的全注意力快 1.6 倍。

这组图展示 N-LSA 的训练加速:左边是单个注意力层前向加反向的加速比,右边是退火阶段整个模型的验证损失随训练时间的变化。
结语
这几年长上下文的比拼,主线一直是让注意力「少看一点」。最早是固定的滑动窗口,后来DeepSeek的 DSA 出现,各家又陆续推出块稀疏方案,行业基本已经证明:只看不到 1% 的 token,精度也能撑住。LSA 点出的则是下一个卡点——「看」便宜了,「找」反而成了开销的大头。
把注意力层做成带层次索引的检索系统,这个思路不算新鲜,Reformer、Routing Transformer 等早期工作都试过按内容来组织 key,但在 1M 以上规模同时验证精度和速度的方法此前并不多见。Agent 已经开始接手持续数天的科研、编程等长程任务,上下文窗口只会越拉越长,到那时左右成本曲线的,或许就是索引器的复杂度。