千万token下,比DeepSeek式稀疏注意力再快22倍

资讯 网易科技 作者:网易 全文 5213 字 · 约 14 分钟读完 配图 10 张 分类DeepSeek深度求索Deepseek

千万token下,比DeepSeek式稀疏注意力再快22倍

所属频道 开源生态

编辑|Panda


如今,百万 token 上下文已经从卖点变成了标配。4 月,DeepSeek-V4 把 1M 上下文定为所有官方服务的默认规格;8 月,智谱发布的 GLM-5.3-Flash 同样支持 1M 上下文,并首次在 GLM 系列中引入稀疏注意力与线性注意力的混合架构。这些模型背后有一个共同的选择:让每个 query不再看遍所有历史 token,只挑出少数最相关的去「看」。

这条路线在 1M 量级上已经被反复验证。可当上下文继续往 1000 万 token 推进时,一笔原本不起眼的开销开始失控。以 GLM-5.3-Flash 的一个全局注意力层为例,在 10M token 下做 prefill,98% 的时间并没有花在注意力计算上,而是花在决定「该看哪些 token」的索引器上。

问题的性质因此变了。稀疏注意力早已证明「只看一小部分」足以保住精度,真正卡住超长上下文的是「找到那一小部分」依然会随上下文长度二次方增长。

现在,伦敦初创公司 Prefrontal AI 与苏黎世联邦理工学院(ETH Zurich)联合发布论文,提出了一种名为Latent Sparse Attention(LSA,隐空间稀疏注意力)的新方法。

千万token下,比DeepSeek式稀疏注意力再快22倍(配图 1)

它在 10M token 下把 GLM-5.3-Flash 单个注意力层的 prefill 提速22.7倍,把 Qwen3.8-27B 的提速72.4倍,同时在一系列任务上保持了与原模型相近的精度。

千万token下,比DeepSeek式稀疏注意力再快22倍(配图 2)

  • 论文标题:Latent Sparse Attention: Towards Subquadratic Ultra-Long Context Attention
  • 论文地址:https://arxiv.org/abs/2610.42147
  • 代码地址:https://github.com/Prefrontal-AI/latent-sparse-attention

稀疏注意力的「隐形账单」

先回顾一下注意力的成本结构。在标准的全注意力里,每个 query 都要和之前所有的 key 计算一遍相关性,上下文长度为 T 时,prefill 的计算量是 O(T²),每解码一个 token 是 O(T)。上下文从 100 万涨到 1000 万,prefill 的注意力计算量就要涨 100 倍。

稀疏注意力的思路是分工:先由一个轻量的「索引器」(indexer)为每个 query 挑出 k 个最相关的 key,再让真正的注意力只在这 k 个 key 上计算。这样注意力本身的开销被压到了 O(Tk)。

这个思路成立有个前提:模型确实只需要很少的 key。论文附录专门做了验证:在 128k token 下,让 Qwen3.8-27B 的每个 query 只看它「真正」最相关的 512 个 key(约占全部 key 的 0.8%),模型在 RULER 长上下文基准上仍能保留全注意力 98% 的精度。

但这里藏着一个悖论。索引器要想知道哪 512 个 key 最相关,就得先给每一个 key 打分。DeepSeek 的 DSA、MiniMax 的稀疏注意力,以及 GLM-5.3-Flash、Qwen 等模型采用的块稀疏方案,各自用了降低精度、减少维度、把 4 个 key 压成 1 个等办法给索引器「减负」,但这些改进只是把常数项除以了几倍,索引器的工作量依然随上下文线性增长,prefill 依然是二次方。

打个比方:你要从一座藏书千万册的图书馆里借 4096 本书,借书本身很快,麻烦的是为了确定借哪 4096 本,你得把每一本书的书脊都看一遍。书越多,看书脊的时间就越占大头。论文测算,在 10M token 下,如果索引器的开销能降为零,稀疏注意力的 prefill 还能再快 58 倍。

千万token下,比DeepSeek式稀疏注意力再快22倍(配图 3)

超长上下文下传统稀疏注意力的耗时构成(GLM-5.3-Flash 单个全局注意力层,单张 H200)。10M token 时,索引器占 prefill 总时间的 98%。

不按时间排,按语义排

LSA 的解法,是让索引器不再逐个检查 key,而是去检查「key 的分组」。

千万token下,比DeepSeek式稀疏注意力再快22倍(配图 4)

D-LSA 与 N-LSA 总览。上:一个注意力层中,key 先被池化并聚类成桶,query 只给桶中心打分,再只看被选中的远程 key(外加 sink 与滑动窗口);下:两种变体的精度与加速。

关键在于怎么分组。现有的块稀疏方法大多按位置分组,把相邻的几个 key 打成一个块。这相当于图书馆按入库时间把书装箱,每箱贴一张摘要。问题在于,一箱里只要有一本关键的书,就可能被其余几本无关书目的摘要「淹没」。

LSA 选择按内容分组。它先把 key 投影到一个经过学习的低维隐空间(latent space)里,再在这个空间中用层次聚类(Ward 方法)把语义相近的 key 归入同一个「桶」(bucket),每个桶只保留一个中心向量和一张记录桶内 key 位置的索引表。查询时,query 只需要和桶的中心向量打分,选出最相关的若干个桶,再把桶「展开」成具体的 key,凑满 k 个送进注意力。

回到图书馆的比方:书不再按入库日期装箱,而是按主题上架。要找关于量子纠错的书,直接走到那一排书架就行,同一主题的书可能是十年间陆续入库的,但它们挨在一起。

这一步的收益是常数级的,论文把它称为 Flat(扁平)搜索。真正改变复杂度的是 Tree(树)变体:桶之上再聚成更大的「节点桶」,层层向上形成一棵层次树。query 从树顶出发,每一层只保留得分最高的若干分支往下走(束搜索)。就像先选楼层、再选区域、再选书架,每个 query 只需检查 O(log T) 个中心向量,索引器的 prefill 从二次方降到了O(T log T),这也是论文标题中「次二次方」(subquadratic)的由来。

千万token下,比DeepSeek式稀疏注意力再快22倍(配图 5)

D-LSA 设计。左为 Flat 搜索:key 经投影、池化、聚类后存入桶缓存,query 给桶中心打分并展开为 top-k 索引;右为 Tree 搜索:桶被组织成多层层次结构,query 用束搜索逐层下探。

两种用法:嫁接进已有模型,或者从头长出来

LSA 提供了两种落地方式。

第一种是D-LSA(Distilled-LSA),面向已经训练好的模型。它冻结原模型的全部参数,每层只新增两个小投影矩阵,把 key 和 query 投到 64 维的索引空间,再通过蒸馏让 LSA 的打分去逼近原模型注意力的分布。整个蒸馏只用了 3.52 亿 token,作为参照,DeepSeek DSA 仅索引器的稠密预热阶段就用了 21 亿 token。论文还给出了一个完全免训练的版本,直接用 key 的主成分方向充当投影,在 Qwen3.8-27B 上与训练版本精度接近。

第二种是N-LSA(Native-LSA),在预训练时就原生使用 LSA,只靠标准的下一 token 预测损失训练。它直接对注意力自己的 key 做聚类,不需要额外的索引投影、不需要教师模型,也不需要辅助损失,模型参数量一个不增。

千万token下,比DeepSeek式稀疏注意力再快22倍(配图 6)

N-LSA 设计。注意力层直接对自身的 key 聚类,可仅靠下一 token 预测损失从头训练。

工程层面,团队为聚类、打分、选择和展开写了面向 H200 和 B300 的 GPU kernel(另有可在任意 GPU 上运行的 Triton 版本),并把 LSA 整合进了 SGLang,支持张量并行、专家并行、流水线并行,以及 prefill 和 decode 阶段的上下文并行。

1000 万 token 下的成绩单

先看精度。团队在 Qwen3.8-27B(其注意力层为全注意力)和 GLM-5.3-Flash(自带稀疏注意力)两个模型上测试 D-LSA,并把上下文推到 10M token,远超两者官方给出的 1M 上限。在 MMLU-Pro、GPQA-Diamond、AIME25、MATH500、LongBench v2 等知识、推理和长上下文任务上,D-LSA 都落在基线的 95% 置信区间内,也没有明显改变模型的推理长度。

在 4k 到 10M token 的 RULER 上,Qwen3.8-27B 加 D-LSA 在 1M 以内与全注意力的差距不超过 5 分,到了 10M 反而以 63.9 比 59.9 反超。GLM-5.3-Flash 加 D-LSA 在 1M 以内与原生稀疏注意力相差 3 分以内,2M 到 5M 区间最多落后 8 分,10M 时差距回到 4 分以内。需要说明的是,GLM 的基线稀疏注意力是与模型一起训练的,而 D-LSA 只是在冻结模型上做了蒸馏,这个比较本身对基线有利。

为了在更真实的场景中检验超长上下文能力,团队还构建了一个新基准PaperTrail。

它把一条条虚构的「研究线索」嵌进大量真实的 2026 年 arXiv 论文中:一篇虚构论文提出某个结果,若干真实论文中被插入引用它的段落,几周后另一篇虚构论文修正数值并给方法改名,而部分后续论文仍在引用旧值,就像真实的学术文献一样。模型需要像做文献综述那样找到并串联这些事实,10M 规模的样本包含近 400 到 465 篇论文。在这个基准上,Qwen3.8-27B 加 D-LSA 在 10M token 下得分 29.1,全注意力为 19.8。

千万token下,比DeepSeek式稀疏注意力再快22倍(配图 7)

D-LSA 在知识、推理与长上下文任务(最长 10M token)上的精度,与全注意力及稀疏注意力基线相当。

再看速度,这也是这项工作最醒目的部分。在 10M token 下,单个注意力层的 prefill,D-LSA 比 GLM-5.3-Flash 原生稀疏注意力快22.7 倍,比 Qwen3.8-27B 的全注意力快72.4 倍;decode 阶段分别快4.6 倍和42.5 倍。这个加速比随上下文增长而扩大,在 1M token 时,对 GLM-5.3-Flash 的 prefill 加速为 3.5 倍,512k 时只有 2.1 倍,因为上下文较短时逐块扫描本来就不贵。按趋势外推,Tree 变体在 1 亿 token 时预计比基线稀疏注意力快 90 倍以上。

单层加速传导到整个模型时会被稀释,因为模型中还有大量不受影响的其他层。在 SGLang 的实际部署中,10M token 下 D-LSA 让 GLM-5.3-Flash 的首 token 时间(TTFT)缩短 2.2 倍(上下文并行),从约 7.5 分钟降到约 3.4 分钟;让 Qwen3.8-27B 的首 token 时间缩短 9.2 倍,从约 76 分钟降到约 8 分钟。

索引本身的显存占用也更小。在 10M token 下,D-LSA 每层索引占 246 MiB,GLM-5.3-Flash 原生方案为 331 MiB,Qwen 风格的块稀疏方案为 642 MiB。

千万token下,比DeepSeek式稀疏注意力再快22倍(配图 8)

D-LSA 单个全局注意力层的加速比(对数坐标)、10M token 下的索引显存,以及外推至 100M token 的 prefill 耗时。

N-LSA 的实验规模要小得多。团队从头训练了一个约 5 亿参数的混合模型,24 层中每 4 层有 1 层是注意力层,其余为 Gated DeltaNet 线性注意力层,在 128k token 的上下文下进行退火训练。结果显示,N-LSA 的验证损失与全注意力完全持平(均为 1.085),而同等稀疏预算下的 PISA、NSA 和滑动窗口注意力分别为 1.100、1.117 和 1.154。在 128k 的 RULER 上,N-LSA 得分 32.2,全注意力为 34.7,NSA 和 PISA 则跌到 19.2 和 14.6。训练速度方面,单个注意力层的前向加反向在 128k 时比 FlashAttention-3 实现的全注意力快 1.6 倍。

千万token下,比DeepSeek式稀疏注意力再快22倍(配图 9)

N-LSA 训练加速。左:单个注意力层前向加反向的加速比;右:退火阶段整个模型的验证损失随训练时间的变化。

结语

过去几年,长上下文的竞争主线是让注意力「少看一点」。从固定的滑动窗口,到 DeepSeek 的 DSA,再到各家的块稀疏方案,行业已经基本证明了只看不到 1% 的 token 也能维持精度。LSA 指出的是下一个瓶颈:当「看」变得便宜,「找」就成了大头。

把注意力层改造成一个带层次索引的检索系统,这个方向并不新,Reformer、Routing Transformer 等早期工作都尝试过按内容组织 key,但此前鲜有方法在 1M 以上的规模上同时验证过精度和速度。随着 Agent 开始承担持续数天的科研、编程等长程任务,上下文窗口还会继续变长,届时决定成本曲线的,或许正是索引器的复杂度。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 千万token上下文:98%时间耗在选token,如何再快22倍?

    编辑|Panda如今,百万 token 上下文已经从卖点变成了标配。4 月,DeepSeek-V4 把 1M 上下文定为所有官方服务的默认规格;8 月,智谱发布的 GLM-5.3-Flash 同样支持 1M 上下文,并首次在 GLM 系列中引入稀疏注意力与线性注意力的混合架构。这些模型背后有一个共同的选择:让每个 qu

    来源 腾讯网
  2. DeepSeek-V4稀疏注意力:1M上下文提速22倍?

    如今,百万 token 上下文已经从卖点变成了标配。4 月,DeepSeek-V4 把 1M 上下文定为所有官方服务的默认规格;8 月,智谱发布的 GLM-5.3-Flash 同样支持 1M 上下文,并首次在 GLM 系列中引入稀疏注意力与线性注意力的混合架构。这些模型背后有一个共同的选择:让每个 query 不再看遍

    来源 AI 行业观察
  3. DeepSeek免费额度被指收紧:长对话、每日用量、单次输入均受限

    国产大模型DeepSeek的免费使用额度疑似遭到限制。11月16日,“DeepSeek使用额度已达上限”登上微博热搜。不少用户在社交媒体上反映,DeepSeek对App及网页版的使用额度进行了调整,包括限制长对话、每日使用额度以及单次文字输入长度。截至发稿,DeepSeek尚未对此作出官方回应。值得注意的是,DeepS

    来源 腾讯网
  4. DeepSeek调整使用规则:超7天对话不保留,单次输入约4万字

    DeepSeek近期对旗下App及网页版实施长对话使用限制,涉及历史对话保留、单次输入长度及每日对话额度等多个方面。据用户反馈,此次调整主要与平台当前算力资源承载压力有关。 具体来看,DeepSeek目前不再支持超过7天未活跃的长对话历史,单次提问的文字输入上限也下调至约4万字。同时,平台新增每日对

    来源 AI 开发者社区
  5. DeepSeek调整使用规则:7天历史对话、4万字输入与每日额度

    DeepSeek近期对App及网页版实施长对话使用限制,涉及历史对话保留、单次输入长度和每日对话额度。用户反馈称,此举与平台算力资源承压有关。具体调整包括:不再支持超过7天未活跃的长对话历史,单次提问输入上限降至约4万字;新增每日对话额度,达上限后系统提示“因服务器繁忙”。

    来源 AI 产业速递
  6. 阿里腾讯同日发新模型:Qwen4-Max单任务降58%,Hy4 flash仅竞品1/8

    阿里Qwen4-Max基于2.4万亿参数的全新架构,评测中单任务平均费用从26.58元降至11.16元,缓存命中每百万Token低至0.5元;腾讯Hy4 flash激活参数仅12B,评测中单任务成本为DeepSeek同类产品忙时价格的1/8、Hy4的1/20,缓存命中仅需0.02元。 11月16日,阿里和腾讯在同一天各

    来源 AI 行业观察
  7. Qwen4-Max单任务降58%,Hy4 flash成本仅竞品1/8

    阿里Qwen4-Max基于2.4万亿参数的全新架构,评测中单任务平均费用从26.58元降至11.16元,缓存命中每百万Token低至0.5元;腾讯Hy4 flash激活参数仅12B,评测中单任务成本为DeepSeek同类产品忙时价格的1/8、Hy4的1/20,缓存命中仅需0.02元。

    来源 华尔街见闻
  8. DeepSeek对免费用户限额:长对话、日额度、输入长度均受限

    据第一财经,11月16日,不少用户在社交媒体上反映,DeepSeek近期对App及网页版的使用额度进行了调整,包括限制长对话、每日使用额度以及单次文字输入长度,原因是“算力不足”。部分用户甚至在使用不到两小时后,就收到了额度耗尽的提示。截至发稿,DeepSeek官方尚未发布统一的限额规则及相关说明,也未披露限制何时解除

    来源 腾讯网
  9. DeepSeek限制长对话引用户喊话:收费能解决问题吗?

    AI应用风向标(公众号:ZhidxcomAI)作者|毕伟豪 编辑|漠影智东西11月16日报道,从昨天开始,网上陆续出现了DeepSeek开始对App及网页版部分功能进行使用限制的消息,涉及长对话、单次输入字数及每日使用额度等。有用户反馈,DeepSeek以“算力不足”为由,限制超过7天未活跃的长对话继续使用,部分用户显

    来源 腾讯网
  10. DeepSeek限流:长对话超7天不能用,单次输入上限约4万字

    11月16日,科创版日报,因算力资源供给紧张,DeepSeek面向普通用户的App及网页版对话服务推出限额使用措施。 据多名用户反馈,DeekSeek出现弹窗提示,受算力约束,不再支持存续超过7天且无活跃交互的长对话,这类闲置会话将无法接续使用,与此同时下调单次输入文本上限,当前单次输入文字上限约为4万字。此外,还会限

    来源 AI 行业观察
  11. DeepSeek限流调整:长对话不再续用,单次输入上限约4万字

    11月16日,科创版日报,因算力资源供给紧张,DeepSeek面向普通用户的App及网页版对话服务推出限额使用措施。据多名用户反馈,DeekSeek出现弹窗提示,受算力约束,不再支持存续超过7天且无活跃交互的长对话,这类闲置会话将无法接续使用,与此同时下调单次输入文本上限,当前单次输入文字上限约为4万字。此外,还会限制

    来源 腾讯网
  12. DeepSeek长对话72小时上限:先给出口,再设限制

    11月15日下午,突然有多位DeepSeek用户表示,当他们想接着几天前的对话往下聊时,手机App就会弹出一条提示:“由于算力不足,已超过72小时的长对话暂不可用,可导出对话到其他App使用。”

    来源 凤凰科技
  13. DeepSeek调整App与网页端额度:长对话、输入字数、每日用量均受限

    11月16日,DeepSeek被曝对App及网页端部分使用场景实施限制。多名用户收到平台提示,称受算力不足影响不再支持超过7天未活跃的长对话;部分用户单次输入上限调整至约4万字,当日用量达到一定程度后会提示服务器繁忙、额度已达上限。官方状态页显示服务正常,但10月记录7起服务异常,11月部分服务仍出现过中断或性能下降。

    来源 凤凰科技
  14. DeepSeek Harness 实战:从零搭建你的第一个 AI Agent 工作流

    DeepSeek Harness (dsh) 是一款开源的 Agent 运行框架,它让 AI 能够直接操作你的本地文件系统和终端。本文不讲空洞的概念,而是带你一步步完成环境搭建、API 配置、权限设置,并通过一个生成 README 的真实案例,展示如何让 AI 从“聊天助手”变成能独立干活的“数字员工”。适合希望提升开

    来源 AI 应用前沿
  15. DeepSeek因算力不足限额;AI演员代言美瞳被罚6.82万余元

    今日头条腾讯发文:已到生死存亡时刻11月16日,腾讯对外公布总办LinkTime现场笔记。面对AI巨浪,在这场深度发声里,腾讯总办以“心态归零”为主题,用“生死存亡”“迅速上船迎战”“打破山头”等词汇定调,言辞之间,透露出很强的危机感与变革急迫性,并对内部的组织积弊与员工心态亮出了态度。“现在进行的智能革命如果不投入拥

    来源 腾讯网
  16. DeepSeek算力告急限流:免费模式要转向了?

    DeepSeek也要限流了,我的快乐老家没了。最近不知道大家有没有刷到,说有不少用户发现,DeepSeek App和网页版开始对长对话实施使用限制。按DeepSeek的说法是,因为算力不足,不再支持超过7天不活跃的长对话。与此同时,单次输入的文字上限也被缩短至4万字左右,每日对话额度也受到限制。当用户达到当日使用上限后

    来源 腾讯网
向下滚动自动加载更多