DeepSeek-V4稀疏注意力:1M上下文提速22倍?

资讯 AI 行业观察 作者:机器之心 全文 5249 字 · 约 14 分钟读完 配图 10 张 分类DeepSeekGLM深度求索智谱模型发布Deepseek

如今,百万 token 上下文已经从卖点变成了标配。4 月,DeepSeek-V4 把 1M 上下文定为所有官方服务的默认规格;8 月,智谱发布的 GLM-5.3-Flash 同样支持 1M 上下文,并首次在 GLM 系列中引入稀疏注意力与线性注意力的混合架构。这些模型背后有一个共同的选择:让每个 query 不再看遍

所属频道 模型发布开源生态国产大模型

百万 token 上下文眼下已是标配,不再算什么卖点。4 月,DeepSeek-V4 把 1M 上下文设为全部官方服务的默认规格;到了 8 月,智谱的 GLM-5.3-Flash 也支持 1M 上下文,并且在 GLM 系列里头一回把稀疏注意力与线性注意力混在一起用。这些模型有一个共同的取舍:每个 query 不必把历史 token 全扫一遍,只挑少数最相关的来看。

在 1M 这个量级上,这条路子已经被验证过很多次。可上下文一旦往 1000 万 token 推,原先不起眼的一笔开销就压不住了。拿 GLM-5.3-Flash 的一个全局注意力层来说,10M token 下做 prefill,98% 的时间根本没花在注意力计算上,而是耗在判断「该看哪些 token」的索引器里。

问题的性质也就跟着变了。稀疏注意力早就证明,只看一小部分足以保住精度;真正把超长上下文卡住的,是「找到那一小部分」这件事本身仍随上下文长度二次方增长。

伦敦初创公司 Prefrontal AI 与苏黎世联邦理工学院(ETH Zurich)现在联合发了一篇论文,提出一种叫 Latent Sparse Attention(LSA,隐空间稀疏注意力)的新方法。

DeepSeek-V4稀疏注意力:1M上下文提速22倍?(配图 1)

按论文数据,10M token 下,它让 GLM-5.3-Flash 单个注意力层的 prefill 快了 22.7 倍,Qwen3.8-27B 快了 72.4 倍,同时在一系列任务上精度与原模型接近。

DeepSeek-V4稀疏注意力:1M上下文提速22倍?(配图 2)

  • 论文标题:Latent Sparse Attention: Towards Subquadratic Ultra-Long Context Attention
  • 论文地址:https://arxiv.org/abs/2610.42147
  • 代码地址:https://github.com/Prefrontal-AI/latent-sparse-attention

稀疏注意力的「隐形账单」

先看注意力的成本结构。标准全注意力里,每个 query 都要跟此前所有 key 算一遍相关性,上下文长度为 T 时,prefill 计算量是 O(T²),每解码一个 token 是 O(T)。上下文从 100 万涨到 1000 万,prefill 的注意力计算量就得涨 100 倍。

稀疏注意力的办法是分工:先让一个轻量的「索引器」(indexer)替每个 query 挑出 k 个最相关的 key,真正的注意力只在这 k 个 key 上算。注意力本身的开销就这样压到了 O(Tk)。

这套思路要成立,有个前提:模型确实只需要很少的 key。论文附录专门做了验证:128k token 下,让 Qwen3.8-27B 的每个 query 只看它「真正」最相关的 512 个 key(约占全部 key 的 0.8%),模型在 RULER 长上下文基准上仍能保住全注意力 98% 的精度。

悖论就藏在这儿。索引器要知道哪 512 个 key 最相关,就得先给每个 key 打分。DeepSeek 的 DSA、MiniMax 的稀疏注意力,还有 GLM-5.3-Flash、Qwen 等模型用的块稀疏方案,各有各的减负办法——降精度、减维度、把 4 个 key 压成 1 个,可这些改进无非把常数项除以几倍,索引器的工作量照样随上下文线性增长,prefill 依旧是二次方。

打个比方:从一座藏书千万册的图书馆里借 4096 本书,借书本身很快,麻烦的是为了定下借哪 4096 本,你得把每本书的书脊都看一遍。书越多,看脊的时间越占大头。论文测算,10M token 下,如果索引器的开销能降到零,稀疏注意力的 prefill 还能再快 58 倍。

DeepSeek-V4稀疏注意力:1M上下文提速22倍?(配图 3)

超长上下文下传统稀疏注意力的耗时构成(GLM-5.3-Flash 单个全局注意力层,单张 H200)。10M token 时,索引器占 prefill 总时间的 98%。

不按时间排,按语义排

LSA 的解法是让索引器别再逐个检查 key,转去检查「key 的分组」。

DeepSeek-V4稀疏注意力:1M上下文提速22倍?(配图 4)

D-LSA 与 N-LSA 概览。上图画出注意力层里的做法:key 先经过池化、聚类归入各个桶,query 则只对桶中心打分,随后仅查看被挑中的远端 key,另外还带上 sink 和滑动窗口;下图给出两种变体在精度和加速上的表现。

怎么分组才是关键。现有块稀疏方法大多按位置分,把相邻几个 key 打成一块,相当于图书馆按入库时间把书装箱,每箱贴一张摘要。问题在于,一箱里只要有一本关键的书,就可能被其余几本无关书目的摘要「淹没」。

LSA 改按内容分组。它先把 key 投影到一个经过学习的低维隐空间(latent space),再在这个空间里用层次聚类(Ward 方法)把语义相近的 key 归进同一个「桶」(bucket),每个桶只留一个中心向量和一张记录桶内 key 位置的索引表。查询时,query 只需跟桶的中心向量打分,选出最相关的若干个桶,再把桶「展开」成具体的 key,凑满 k 个送进注意力。

还拿图书馆作比:书不再按入库日期装箱,而是按主题上架。要找量子纠错的书,直接走到那一排书架就行——同一主题的书可能是十年间陆续入库的,但它们挨在一起。

论文把这一步叫作 Flat(扁平)搜索,它带来的只是常数级收益。复杂度真正被改掉的是 Tree(树)变体:在桶的基础上继续聚合,形成更大的「节点桶」,一层层往上搭出一棵层次树。query 从树顶往下走,每层只沿得分最高的若干分支继续(束搜索)。可以理解成先挑楼层、再挑区域、最后挑书架,于是每个 query 只用检查 O(log T) 个中心向量,索引器 prefill 的开销从二次方降到 O(T log T)——论文标题中「次二次方」(subquadratic)指的就是这件事。

DeepSeek-V4稀疏注意力:1M上下文提速22倍?(配图 5)

D-LSA 设计。左为 Flat 搜索:key 经投影、池化、聚类后存入桶缓存,query 给桶中心打分并展开为 top-k 索引;右为 Tree 搜索:桶被组织成多层层次结构,query 用束搜索逐层下探。

这套机制有两种落地路径:塞进已经训好的模型里,或者让它从预训练阶段就长在模型里。

LSA给出了两条实施路线。D-LSA(Distilled-LSA)走的是第一条,针对训练完成的模型:原模型参数全部冻住,每层仅加两个小投影矩阵,把key和query投进64维索引空间,再靠蒸馏让LSA的打分逼近原模型注意力分布。整套蒸馏消耗3.52亿token;对照来看,DeepSeek DSA光索引器的稠密预热阶段就用掉21亿token。论文另外给了一个完全不用训练的版本,拿key的主成分方向直接当投影,在Qwen3.8-27B上精度和训练版差不多。

第二条路是N-LSA(Native-LSA):预训练阶段就原生使用LSA,只依赖标准的下一token预测损失。它直接对注意力自身的key做聚类,不用额外索引投影,不用教师模型,也不用辅助损失,模型参数量一个不增。

DeepSeek-V4稀疏注意力:1M上下文提速22倍?(配图 6)

N-LSA的设计思路是让注意力层对自己的key聚类,仅凭下一token预测损失就能从头训练。

工程实现上,团队针对H200和B300写了聚类、打分、选择、展开的GPU kernel,另有一个能在任意GPU上跑的Triton版本;LSA也被接进了SGLang,支持张量并行、专家并行、流水线并行,以及prefill和decode阶段的上下文并行。

千万token量级的表现

精度先看。团队拿Qwen3.8-27B(注意力层为全注意力)和GLM-5.3-Flash(自带稀疏注意力)测试D-LSA,上下文推到10M token,远超两者官方1M的上限。MMLU-Pro、GPQA-Diamond、AIME25、MATH500、LongBench v2等知识、推理与长上下文任务上,D-LSA全部落在基线95%置信区间内,模型推理长度也没有明显变化。RULER从4k测到10M:Qwen3.8-27B加D-LSA在1M以内与全注意力差距不超过5分,到10M反而以63.9比59.9实现反超;GLM-5.3-Flash加D-LSA在1M以内与原生稀疏注意力相差3分以内,2M到5M区间最多落后8分,10M时差距收回到4分以内。要注意GLM的基线稀疏注意力是和模型一起训练的,D-LSA只是在冻结模型上做蒸馏,这个对比其实对基线更有利。

为在更贴近实际的场景里检验超长上下文,团队还搭了一个新基准PaperTrail。做法是把一条条虚构的「研究线索」埋进大量真实的2026年arXiv论文:一篇虚构论文给出某个结果,若干真实论文里被插入引用它的段落;几周后另一篇虚构论文修改数值、给方法改名,而部分后续论文仍在引用旧值——和真实学术文献的演进一样。模型得照着做文献综述的路子把这些事实找出来并串起来,10M规模的样本含近400到465篇论文。该基准上,Qwen3.8-27B加D-LSA在10M token下拿到29.1分,全注意力为19.8。

DeepSeek-V4稀疏注意力:1M上下文提速22倍?(配图 7)

知识、推理和长上下文任务(最长10M token)上,D-LSA的精度与全注意力、稀疏注意力基线相当。

速度是这项工作最抓眼球的地方。10M token下单个注意力层的prefill,D-LSA比GLM-5.3-Flash原生稀疏注意力快22.7倍,比Qwen3.8-27B全注意力快72.4倍;decode阶段分别快4.6倍和42.5倍。这个加速比随上下文变长而拉大:1M token时对GLM-5.3-Flash的prefill加速是3.5倍,512k时仅2.1倍,原因是上下文短的时候逐块扫描本身就不贵。按趋势外推,Tree变体在1亿token时预计比基线稀疏注意力快90倍以上。单层加速传到整个模型会被稀释,毕竟模型里还有大量不受影响的其他层。SGLang实际部署中,10M token下D-LSA让GLM-5.3-Flash的首token时间(TTFT)缩短2.2倍(上下文并行),从约7.5分钟降到约3.4分钟;Qwen3.8-27B的首token时间缩短9.2倍,从约76分钟降到约8分钟。

索引的显存占用也更省。10M token下D-LSA每层索引占246 MiB,GLM-5.3-Flash原生方案为331 MiB,Qwen风格的块稀疏方案则要642 MiB。

DeepSeek-V4稀疏注意力:1M上下文提速22倍?(配图 8)

图中依次是D-LSA单个全局注意力层的加速比(对数坐标)、10M token下的索引显存,以及外推到100M token的prefill耗时。

N-LSA的实验规模小得多。团队从头训了一个约5亿参数的混合模型,24层里每4层有1层是注意力层,其余是Gated DeltaNet线性注意力层,在128k token上下文下做退火训练。结果N-LSA的验证损失与全注意力完全打平(均为1.085),同等稀疏预算下PISA、NSA和滑动窗口注意力分别是1.100、1.117和1.154。128k的RULER上N-LSA得32.2,全注意力34.7,NSA和PISA掉到19.2和14.6。训练速度上,单个注意力层的前向加反向在128k时比FlashAttention-3实现的全注意力快1.6倍。

DeepSeek-V4稀疏注意力:1M上下文提速22倍?(配图 9)

配图展示N-LSA的训练加速:左为单个注意力层前向加反向的加速比,右为退火阶段整个模型验证损失随训练时间的变化。

结语

这几年,长上下文领域比拼的重点一直落在让注意力「少看一点」上。从早期固定的滑动窗口,到DeepSeek的DSA,再到各家推出的块稀疏方案,业内已经大致验证:只关注不到1%的token,精度依然保得住。LSA点出的则是下一道坎——「看」的成本降下来之后,「找」反而成了开销的大头。

把注意力层做成带层次索引的检索系统,这个思路其实不算新鲜,Reformer、Routing Transformer等早期研究都试过按内容来组织key。不过在此之前,很少有方法能在1M以上的规模上把精度和速度一并验证清楚。Agent眼下开始接手科研、编程这类要连着跑数天的长程任务,上下文窗口只会越拉越长。到那时候,左右成本曲线的,或许就是索引器本身的复杂度。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 千万token上下文:98%时间耗在选token,如何再快22倍?

    编辑|Panda如今,百万 token 上下文已经从卖点变成了标配。4 月,DeepSeek-V4 把 1M 上下文定为所有官方服务的默认规格;8 月,智谱发布的 GLM-5.3-Flash 同样支持 1M 上下文,并首次在 GLM 系列中引入稀疏注意力与线性注意力的混合架构。这些模型背后有一个共同的选择:让每个 qu

    来源 腾讯网
  2. DeepSeek限流:长对话超7天不能用,单次输入上限约4万字

    11月16日,科创版日报,因算力资源供给紧张,DeepSeek面向普通用户的App及网页版对话服务推出限额使用措施。 据多名用户反馈,DeekSeek出现弹窗提示,受算力约束,不再支持存续超过7天且无活跃交互的长对话,这类闲置会话将无法接续使用,与此同时下调单次输入文本上限,当前单次输入文字上限约为4万字。此外,还会限

    来源 AI 行业观察
  3. DeepSeek长对话突遭限制:超72小时不可用,官方暂无说明

    11月15日下午,突然有多位DeepSeek用户表示,当他们想接着几天前的对话往下聊时,手机App就会弹出一条提示:“由于算力不足,已超过72小时的长对话暂不可用,可导出对话到其他App使用。” 社区里,有用户整理了同时出现的另外几种报错,比如“内容超长,请删减后再试”、“修改输入次数超过限制,消息未发送”、“消息数量

    来源 AI 行业观察
  4. DeepSeek长对话超72小时被限:算力不足,官方尚未回应

    11月15日下午,突然有多位DeepSeek用户表示,当他们想接着几天前的对话往下聊时,手机App就会弹出一条提示:“由于算力不足,已超过72小时的长对话暂不可用,可导出对话到其他App使用。” 社区里,有用户整理了同时出现的另外几种报错,比如“内容超长,请删减后再试”、“修改输入次数超过限制,消息未发送”、“消息数量

    来源 AI 行业观察
  5. DeepSeek免费额度被指收紧:长对话、每日用量、单次输入均受限

    国产大模型DeepSeek的免费使用额度疑似遭到限制。11月16日,“DeepSeek使用额度已达上限”登上微博热搜。不少用户在社交媒体上反映,DeepSeek对App及网页版的使用额度进行了调整,包括限制长对话、每日使用额度以及单次文字输入长度。截至发稿,DeepSeek尚未对此作出官方回应。值得注意的是,DeepS

    来源 腾讯网
  6. DeepSeek调整使用规则:超7天对话不保留,单次输入约4万字

    DeepSeek近期对旗下App及网页版实施长对话使用限制,涉及历史对话保留、单次输入长度及每日对话额度等多个方面。据用户反馈,此次调整主要与平台当前算力资源承载压力有关。 具体来看,DeepSeek目前不再支持超过7天未活跃的长对话历史,单次提问的文字输入上限也下调至约4万字。同时,平台新增每日对

    来源 AI 开发者社区
  7. DeepSeek调整使用规则:7天历史对话、4万字输入与每日额度

    DeepSeek近期对App及网页版实施长对话使用限制,涉及历史对话保留、单次输入长度和每日对话额度。用户反馈称,此举与平台算力资源承压有关。具体调整包括:不再支持超过7天未活跃的长对话历史,单次提问输入上限降至约4万字;新增每日对话额度,达上限后系统提示“因服务器繁忙”。

    来源 AI 产业速递
  8. DeepSeek限流调整:长对话不再续用,单次输入上限约4万字

    11月16日,科创版日报,因算力资源供给紧张,DeepSeek面向普通用户的App及网页版对话服务推出限额使用措施。据多名用户反馈,DeekSeek出现弹窗提示,受算力约束,不再支持存续超过7天且无活跃交互的长对话,这类闲置会话将无法接续使用,与此同时下调单次输入文本上限,当前单次输入文字上限约为4万字。此外,还会限制

    来源 腾讯网
  9. DeepSeek限制长对话引用户喊话:收费能解决问题吗?

    AI应用风向标(公众号:ZhidxcomAI)作者|毕伟豪 编辑|漠影智东西11月16日报道,从昨天开始,网上陆续出现了DeepSeek开始对App及网页版部分功能进行使用限制的消息,涉及长对话、单次输入字数及每日使用额度等。有用户反馈,DeepSeek以“算力不足”为由,限制超过7天未活跃的长对话继续使用,部分用户显

    来源 腾讯网
  10. DeepSeek调整App与网页端额度:长对话、输入字数、每日用量均受限

    11月16日,DeepSeek被曝对App及网页端部分使用场景实施限制。多名用户收到平台提示,称受算力不足影响不再支持超过7天未活跃的长对话;部分用户单次输入上限调整至约4万字,当日用量达到一定程度后会提示服务器繁忙、额度已达上限。官方状态页显示服务正常,但10月记录7起服务异常,11月部分服务仍出现过中断或性能下降。

    来源 凤凰科技
  11. DeepSeek长对话72小时上限:先给出口,再设限制

    11月15日下午,突然有多位DeepSeek用户表示,当他们想接着几天前的对话往下聊时,手机App就会弹出一条提示:“由于算力不足,已超过72小时的长对话暂不可用,可导出对话到其他App使用。”

    来源 凤凰科技
  12. 模型选择自由!千问办公上线Qwen4、Kimi-K3.1、GLM-5.3等10款模型

    11月16日,千问办公一口气上线10款模型,包括刚刚发布的Qwen4-Max,以及Kimi、GLM、DeepSeek、MiniMax、Step等多款三方大模型。目前,千问办公的模型列表已向用户开放选择,个人版和企业标准版用户可结合自身使用场景自由选择模型。 此前,千问办公在模型供给上为用户提供了标准、高级和Qwen3.

    来源 AI 行业观察
  13. Octop团队模式拆解:Super-agent双层架构怎么分工

    作者:Jubaoliang,Octop 负责人导读DeepSeek 近日发布长文,系统阐述了其 Super-Agent 设计理念——打破 AI「单次仅能处理单一任务」的旧范式,以调度员(Router)加执行单元(Worker)的双层架构实现任务并行与后台运行,解放用户等待时间。无独有偶,在工程实践的另一条路径上,Oct

    来源 腾讯网
  14. DeepSeek Harness 实战:从零搭建你的第一个 AI Agent 工作流

    DeepSeek Harness (dsh) 是一款开源的 Agent 运行框架,它让 AI 能够直接操作你的本地文件系统和终端。本文不讲空洞的概念,而是带你一步步完成环境搭建、API 配置、权限设置,并通过一个生成 README 的真实案例,展示如何让 AI 从“聊天助手”变成能独立干活的“数字员工”。适合希望提升开

    来源 AI 应用前沿
  15. DeepSeek算力告急限流:免费模式要转向了?

    DeepSeek也要限流了,我的快乐老家没了。最近不知道大家有没有刷到,说有不少用户发现,DeepSeek App和网页版开始对长对话实施使用限制。按DeepSeek的说法是,因为算力不足,不再支持超过7天不活跃的长对话。与此同时,单次输入的文字上限也被缩短至4万字左右,每日对话额度也受到限制。当用户达到当日使用上限后

    来源 腾讯网
  16. DeepSeek长对话限额:算力不足,开放API仅3天

    北京商报讯(记者 魏蔚 鲁芹)11月16日,话题#DeepSeek使用额度已达上限#登上热搜。多名用户反馈,DeepSeek已对App及网页版的长对话进行了限额使用。平台提示原因为"算力不足,不再支持超过7天不活跃的长对话",用户可新开对话,或将历史记录导出至其他应用继续使用。

    来源 网易科技
向下滚动自动加载更多