千万token上下文:98%时间耗在选token,如何再快22倍?

资讯 腾讯网 作者:机器之心 全文 4096 字 · 约 11 分钟读完 配图 1 张 分类DeepSeekGLM深度求索智谱模型发布Deepseek

编辑|Panda如今,百万 token 上下文已经从卖点变成了标配。4 月,DeepSeek-V4 把 1M 上下文定为所有官方服务的默认规格;8 月,智谱发布的 GLM-5.3-Flash 同样支持 1M 上下文,并首次在 GLM 系列中引入稀疏注意力与线性注意力的混合架构。这些模型背后有一个共同的选择:让每个 qu

所属频道 模型发布开源生态国产大模型

百万 token 上下文眼下已是标配,不再是稀罕卖点。今年 4 月,让每个 query 不必翻遍全部历史 token、只挑最相关的少数几个来看。


这套思路在 1M 量级上已多次得到验证。但上下文往 1000 万 token 推,一项原本不起眼的开销开始失控:98% 的时间压根没花在注意力计算上,而是耗在判断「该看哪些 token」。问题的性质也就变了——稀疏注意力早就证明「只看一小部分」能保住精度,真正把超长上下文卡住的,是「找到那一小部分」仍随上下文长度按二次方增长。



伦敦初创公司 Prefrontal AI 与苏黎世联邦理工学院(ETH Zurich)现在联合发表论文,提出一种新方法:Latent Sparse Attention(LSA,隐空间稀疏注意力)。



在 10M token 下,它让 GLM-5.3-Flash 单个注意力层的 prefill 提速 22.7 倍,另一项提速 72.4 倍;同时在一系列任务上,精度与原模型相近。论文标题为 Latent Sparse Attention: Towards Subquadratic Ultra-Long Context Attention。



  • 论文地址:https://arxiv.org/abs/2610.42147

  • 代码地址:https://github.com/Prefrontal-AI/latent-sparse-attention


稀疏注意力有一笔看不见的成本。论文用 GLM-5.3-Flash 的单个全局注意力层、单张 H200 测过:上下文到 10M token 时,索引器吃掉了 prefill 总时间的 98%。


先看注意力的成本结构:标准全注意力里,每个 query 都要跟之前所有 key 算一遍相关性,上下文长度为 T 时,prefill 是 O(T²),每解码一个 token 是 O(T)。上下文从 100 万涨到 1000 万,prefill 的注意力计算量就跟着涨 100 倍。


稀疏注意力的办法是分工。先让一个轻量的「索引器」(indexer)替每个 query 挑出 k 个最相关的 key,真正的注意力只在这 k 个 key 上算,注意力本身的开销于是被压到 O(Tk)。


这套思路要成立,前提是模型确实只需要很少的 key。论文附录做了验证:在 128k token 下,让 Qwen3.8-27B 的每个 query 只看它「真正」最相关的 512 个 key(约占全部 key 的 0.8%),模型在


问题出在索引器身上,这里有个悖论。索引器要判断哪 512 个 key 最相关,就得先给每一个 key 打分。DeepSeek 的索引器工作量还是随上下文线性增长,prefill 依然是二次方。


好比从一座藏书千万册的图书馆里借 4096 本书:借书本身很快,麻烦的是为了确定借哪 4096 本,得把每一本书的书脊都看一遍。书越多,看脊的时间越占大头。论文测算过,10M token 下,如果索引器的开销能降为零,稀疏注意力的 prefill 还能再快 58 倍。


超长上下文下传统稀疏注意力的耗时构成(GLM-5.3-Flash 单个全局注意力层,单张 H200)。10M token 时,索引器占 prefill 总时间的 98%。


不按时间排,按语义排


LSA 的解法是让索引器跳过逐个检查 key,转去检查「key 的分组」。


D-LSA 和 N-LSA 的总览。上半部分展示的是:在一个注意力层里,key 先经过池化、再聚类成桶,query 只为桶中心打分,随后只查看被选中的那些远程 key(另外还有 sink 和滑动窗口);下半部分则是这两种变体在精度和加速上的表现。


关键在于怎么分组。现有的块稀疏方法大多按位置分组,把相邻的几个 key 打成一个块,相当于图书馆按入库时间把书装箱,每箱贴一张摘要。麻烦在于,一箱里只要有一本关键的书,就可能被其余几本无关书目的摘要「淹没」。


LSA 选择按内容分组。它先把 key 投影到一个经过学习的低维隐空间(latent space)里,再在这个空间中用


换个说法,还是图书馆这个例子:书按主题上架,不再按入库日期装箱。想找量子纠错的书,走到对应那排书架就行;同一主题的书,可能十年间陆续入库,现在却挨在一起。


这一步带来的是常数级收益,论文里叫 Flat(扁平)搜索。真正动复杂度的是 Tree(树)变体:桶上面再聚成更大的「节点桶」,一层层往上,形成一棵层次树。query 从树顶出发,每一层只保留得分最高的若干分支往下走,也就是束搜索。先挑楼层、再挑区域、再挑书架,每个 query 只需检查 O(log T) 个中心向量。索引器的 prefill 因此从二次方降到 O(T log T),论文标题里的「次二次方」(subquadratic)说的就是这件事。两种搜索的样子见 D-LSA 设计图:左边是 Flat,key 经投影、池化、聚类后存进桶缓存,query 给桶中心打分,展开成 top-k 索引;右边是 Tree,桶被组织成多层层次结构,query 用束搜索逐层下探。



落地方式有两种,LSA 给了两条路:嫁接进已有模型,或者从头长出来。



一种是 D-LSA(Distilled-LSA),针对已经训练好的模型。原模型参数全部冻结,每层只加两个小投影矩阵,把 key 和 query 投到 64 维的索引空间,再用蒸馏让 LSA 的打分去逼近原模型注意力的分布。整套蒸馏只花了 3.52 亿 token。对比一下,DeepSeek DSA 光索引器的稠密预热阶段就用了 21 亿 token。论文还给了一个完全免训练的版本,直接拿 key 的主成分方向当投影,在 Qwen3.8-27B 上精度与训练版本接近。


另一种是 N-LSA(Native-LSA),预训练时就直接用 LSA,只靠标准的下一 token 预测损失来训练。它聚的是注意力自己的 key,不用额外的索引投影,不用教师模型,也不用辅助损失,模型参数量一个不增。


N-LSA 的做法是注意力层直接对自身的 key 聚类,仅靠下一 token 预测损失就能从头训练。


工程上,聚类、打分、选择、展开这几步,团队写了面向 H200 和 B300 的


1000 万 token 下的成绩单。


先看精度。团队拿 Qwen3.8-27B(注意力层为全注意力)和 GLM-5.3-Flash(自带稀疏注意力)两个模型测 D-LSA,把上下文推到 10M token,远超两者官方给出的 1M 上限。在


在 4k 到 10M token 的 RULER 上,Qwen3.8-27B 加 D-LSA 在 1M 以内与全注意力差距不超过 5 分,到 10M 反而以 63.9 比 59.9 反超。GLM-5.3-Flash 加 D-LSA 在 1M 以内与原生稀疏注意力相差 3 分以内,2M 到 5M 区间最多落后 8 分,10M 时差距回到 4 分以内。有一点要说清楚:GLM 的基线稀疏注意力是跟模型一起训练的,D-LSA 只是在冻结模型上做蒸馏,这个比较本身对基线有利。


团队另外搭了一个叫 PaperTrail 的新基准,用来在更接近真实情况的场景里考察超长上下文能力。做法是把一条条编出来的「研究线索」塞进大批真实的 2026 年 arXiv 论文里:某篇虚构论文抛出一个结果,若干真实论文中被人为插入引用它的段落,过几周又有另一篇虚构论文改掉数值、给方法换了名字,可部分后续论文照旧引用旧值——跟真实文献里的情形一个样。模型得按做文献综述的路子把这些事实找出来、串起来,10M 规模的样本里收了将近 400 到 465 篇论文。在这个基准上,10M token 下 Qwen3.8-27B 加 D-LSA 拿到 29.1 分,全注意力是 19.8 分。



知识、推理和长上下文任务(最长 10M token)上,D-LSA 的精度跟全注意力、稀疏注意力两类基线都差不多。


速度是这项工作最抢眼的地方。10M token 下,单层注意力的 prefill,D-LSA 比 GLM-5.3-Flash 的原生稀疏注意力快 22.7 倍,比 Qwen3.8-27B 的全注意力快 72.4 倍;decode 阶段这两个数字分别是 4.6 倍和 42.5 倍。上下文越长,加速比越大。1M token 时对 GLM-5.3-Flash 的 prefill 加速是 3.5 倍,512k 时只有 2.1 倍——短上下文里逐块扫描本来就花不了多少。按这个趋势往外推,1 亿 token 时 Tree 变体预计能比基线稀疏注意力快 90 倍以上。


单层的加速落到整个模型上会被摊薄,毕竟模型里还有一大堆不受影响的其他层。SGLang 实际部署中,10M token 下 D-LSA 把 GLM-5.3-Flash 的首 token 时间(索引占的显存同样更省。10M token 下,D-LSA 每层索引是 246 MiB,GLM-5.3-Flash 原生方案要 331 MiB,Qwen 风格的块稀疏方案则要 642 MiB。



D-LSA 单个全局注意力层的加速比(对数坐标)、10M token 下的索引显存,以及推到 100M token 的 prefill 耗时。


N-LSA 这边的实验规模小不少。团队从零训练了一个约 5 亿参数的混合模型,24 层里每 4 层有 1 层是注意力层,其余为


N-LSA 的训练加速。左图是单个注意力层前向加反向的加速比;右图是退火阶段整个模型的验证损失随训练时间的变化。


结语


这几年长上下文的主线,是让注意力「少看一点」。从固定的滑动窗口,到 DeepSeek 的 DSA,再到各家做的块稀疏方案,行业大体上已经证明:只看不到 1% 的 token,精度也撑得住。LSA 点出的是下一个卡点——「看」便宜了之后,「找」就成了大头。


把注意力层做成带层次索引的检索系统,思路本身不新鲜。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. DeepSeek App与网页版限额:长对话超7天不活跃不再保留?

    【TechWeb】11月16日消息,据多名用户在社交平台发帖反馈,DeepSeek已对App与网页版的长对话功能实施了使用限额。有用户在使用DeepSeek时被提示因“算力不足,不再支持超过7天不活跃的长对话”,并对单次输入文字的上限进行了调整,缩短至4万字左右。此外,还会限制每日的对话额度,当用户日使用量达到上限时,

    来源 腾讯网
  2. DeepSeek限流调整:长对话不再续用,单次输入上限约4万字

    11月16日,科创版日报,因算力资源供给紧张,DeepSeek面向普通用户的App及网页版对话服务推出限额使用措施。据多名用户反馈,DeekSeek出现弹窗提示,受算力约束,不再支持存续超过7天且无活跃交互的长对话,这类闲置会话将无法接续使用,与此同时下调单次输入文本上限,当前单次输入文字上限约为4万字。此外,还会限制

    来源 腾讯网
  3. Octop团队模式拆解:Super-agent双层架构怎么分工

    作者:Jubaoliang,Octop 负责人导读DeepSeek 近日发布长文,系统阐述了其 Super-Agent 设计理念——打破 AI「单次仅能处理单一任务」的旧范式,以调度员(Router)加执行单元(Worker)的双层架构实现任务并行与后台运行,解放用户等待时间。无独有偶,在工程实践的另一条路径上,Oct

    来源 腾讯网
  4. DeepSeek因算力不足限额;AI演员代言美瞳被罚6.82万余元

    今日头条腾讯发文:已到生死存亡时刻11月16日,腾讯对外公布总办LinkTime现场笔记。面对AI巨浪,在这场深度发声里,腾讯总办以“心态归零”为主题,用“生死存亡”“迅速上船迎战”“打破山头”等词汇定调,言辞之间,透露出很强的危机感与变革急迫性,并对内部的组织积弊与员工心态亮出了态度。“现在进行的智能革命如果不投入拥

    来源 腾讯网
  5. DeepSeek调整使用规则:超7天对话不保留,单次输入约4万字

    DeepSeek近期对旗下App及网页版实施长对话使用限制,涉及历史对话保留、单次输入长度及每日对话额度等多个方面。据用户反馈,此次调整主要与平台当前算力资源承载压力有关。 具体来看,DeepSeek目前不再支持超过7天未活跃的长对话历史,单次提问的文字输入上限也下调至约4万字。同时,平台新增每日对

    来源 AI 开发者社区
  6. 腾讯Hy4 flash发布:224B参数,输入0.5元/百万Token

    在 WorkBuddy 中实测腾讯 Hy4 flash,涵盖深度研究、3D 网页、游戏开发和办公任务。与 DeepSeek V4.1 Flash 相比,两者整体交付质量相近,前者首轮交付更快;生成交互帆船原型耗时半小时,按 API 定价估算费用约 0.23 元。

    来源 爱范儿
  7. DeepSeek调整使用规则:7天历史对话、4万字输入与每日额度

    DeepSeek近期对App及网页版实施长对话使用限制,涉及历史对话保留、单次输入长度和每日对话额度。用户反馈称,此举与平台算力资源承压有关。具体调整包括:不再支持超过7天未活跃的长对话历史,单次提问输入上限降至约4万字;新增每日对话额度,达上限后系统提示“因服务器繁忙”。

    来源 AI 产业速递
  8. DeepSeek限流:长对话超7天不能用,单次输入上限约4万字

    11月16日,科创版日报,因算力资源供给紧张,DeepSeek面向普通用户的App及网页版对话服务推出限额使用措施。 据多名用户反馈,DeekSeek出现弹窗提示,受算力约束,不再支持存续超过7天且无活跃交互的长对话,这类闲置会话将无法接续使用,与此同时下调单次输入文本上限,当前单次输入文字上限约为4万字。此外,还会限

    来源 AI 行业观察
  9. Claude常驻Agent省token技巧:DeepSeek空转Grok bot省了55%

    DeepSeek说的对,AI时代效率瓶颈是人的注意力。Anthropic说的也对,常驻Agent不代表一直在线,空转的定时任务除了浪费我积分外没有任何好处。所以我选择把Claude新出的常驻智能体指南内化成其他Personal Agent能用的提示语,帮我Grok bot省了55%的使用额度。事情是酱的。 用了12个P

    来源 腾讯网
  10. DeepSeek限额后用户催收费:三道坎卡住App转向API

    出品 | 网易智能 作者 | 小扣 编辑 | 王凤枝 DeepSeek开始限额后,一些用户反过来催它收费了:他们愿意掏钱,只想在原来的App里继续顺手用下去。 11月17日消息,据多家媒体报道,自11月15日起,部分DeepSeek网页端和App用户遇到了使用额度、文件读取及不活跃长对话等限制。有人的页面提示“因服务器

    来源 AI 行业观察
  11. DeepSeek开放全家桶API:联网搜索价格不到OpenAI、Claude的8%

    让一个大模型回答问题并不难,但要让它搜索互联网、阅读网页、解析 PDF,再将找到的信息组织成带有引用的回答,开发者往往需要额外搭建一套工具系统。这些工作构成了 AI 应用开发中一层容易被忽略的工程负担。 11 月 13 日,DeepSeek 宣布开放“全家桶应用 API”,试图减少这部分工作。它将官方 App 和网页端

    来源 AI 行业观察
  12. DeepSeek调整App与网页端额度:长对话、输入字数、每日用量均受限

    11月16日,DeepSeek被曝对App及网页端部分使用场景实施限制。多名用户收到平台提示,称受算力不足影响不再支持超过7天未活跃的长对话;部分用户单次输入上限调整至约4万字,当日用量达到一定程度后会提示服务器繁忙、额度已达上限。官方状态页显示服务正常,但10月记录7起服务异常,11月部分服务仍出现过中断或性能下降。

    来源 凤凰科技
  13. DeepSeek长对话72小时上限:先给出口,再设限制

    11月15日下午,突然有多位DeepSeek用户表示,当他们想接着几天前的对话往下聊时,手机App就会弹出一条提示:“由于算力不足,已超过72小时的长对话暂不可用,可导出对话到其他App使用。”

    来源 凤凰科技
  14. DeepSeek Harness 实战:从零搭建你的第一个 AI Agent 工作流

    DeepSeek Harness (dsh) 是一款开源的 Agent 运行框架,它让 AI 能够直接操作你的本地文件系统和终端。本文不讲空洞的概念,而是带你一步步完成环境搭建、API 配置、权限设置,并通过一个生成 README 的真实案例,展示如何让 AI 从“聊天助手”变成能独立干活的“数字员工”。适合希望提升开

    来源 AI 应用前沿
向下滚动自动加载更多