Prefrontal AI与ETH提出LSA:10M token下注意力层提速72.4倍

资讯 36氪 全文 5254 字 · 约 14 分钟读完 配图 10 张 分类DeepSeek深度求索Deepseek

稀疏注意力新解法:千万token下注意力层最高提速72倍

所属频道 开源生态

百万 token 的上下文,今天已经不算什么卖点,早成了标配。4 月,DeepSeek-V4 把 1M 上下文设成所有官方服务的默认规格;到了 8 月,智谱的 GLM-5.3-Flash 也支持 1M 上下文,并且在 GLM 系列里头一回把稀疏注意力和线性注意力混着用。这些模型有一个共同做法:每个 query 不再把全部历史 token 都扫一遍,只挑少数最相关的来看。

这条路子在 1M 量级上已经反复得到验证。可上下文往 1000 万 token 推的时候,有一笔原先没人当回事的开销开始压不住了。拿 GLM-5.3-Flash 的一个全局注意力层来说,10M token 下做 prefill,98% 的时间根本没花在注意力计算上,而是花在索引器上——它负责判断「该看哪些 token」。

问题也就变了味道。稀疏注意力早就证明「只看一小部分」够用,精度保得住;真正拖住超长上下文的是「找到那一小部分」这件事,它照样随上下文长度按二次方涨。

伦敦初创公司 Prefrontal AI 和苏黎世联邦理工学院(ETH Zurich)如今联合发了一篇论文,提出一种新方法,叫 Latent Sparse Attention(LSA,隐空间稀疏注意力)。

Prefrontal AI与ETH提出LSA:10M token下注意力层提速72.4倍(配图 1)

10M token 下,GLM-5.3-Flash 单个注意力层的 prefill 被它提速 22.7 倍,Qwen3.8-27B 则提速 72.4 倍;同时在一系列任务上,精度和原模型差不多。

Prefrontal AI与ETH提出LSA:10M token下注意力层提速72.4倍(配图 2)

  • 论文标题:Latent Sparse Attention: Towards Subquadratic Ultra-Long Context Attention
  • 论文地址:https://arxiv.org/abs/2610.42147
  • 代码地址:https://github.com/Prefrontal-AI/latent-sparse-attention

稀疏注意力的「隐形账单」

先看注意力的成本怎么算。标准全注意力里,每个 query 都要跟前面所有 key 算一遍相关性;上下文长度是 T 时,prefill 的计算量为 O(T²),每解码一个 token 是 O(T)。上下文从 100 万涨到 1000 万,prefill 的注意力计算量就得涨 100 倍。

稀疏注意力的办法是分工:先让一个轻量的「索引器」(indexer)替每个 query 挑出 k 个最相关的 key,真正的注意力只在这 k 个 key 上算。注意力本身的开销就这样被压到 O(Tk)。

这个思路要成立,得有个前提:模型确实只需要很少的 key。论文附录专门做了验证——128k token 下,让 Qwen3.8-27B 的每个 query 只看它「真正」最相关的 512 个 key(约占全部 key 的 0.8%),在 RULER 长上下文基准上,模型还能保住全注意力 98% 的精度。

可这里头有个悖论。索引器要知道哪 512 个 key 最相关,前提是先把每一个 key 都打过分。DeepSeek的 DSA、MiniMax的稀疏注意力,还有 GLM-5.3-Flash、Qwen 这些模型用的块稀疏方案,各自想了些办法给索引器「减负」:降精度、减维度、把 4 个 key 压成 1 个。可这些改进只是把常数项除了几倍,索引器的工作量还是随上下文线性增长,prefill 依旧是二次方。。

打个比方:从一座藏书上千万册的图书馆里借 4096 本书,借书本身很快,麻烦在于你得把每一本书的书脊都看一遍,才知道借哪 4096 本。书越多,看脊背的时间越占大头。论文测算过,10M token 下要是索引器的开销能降到零,稀疏注意力的 prefill 还能再快 58 倍。

Prefrontal AI与ETH提出LSA:10M token下注意力层提速72.4倍(配图 3)

超长上下文下传统稀疏注意力的耗时构成(GLM-5.3-Flash 单个全局注意力层,单张 H200)。10M token 时,索引器占 prefill 总时间的 98%。

不按时间排,按语义排

LSA 的解法是让索引器别逐个查 key,改去查「key 的分组」。

Prefrontal AI与ETH提出LSA:10M token下注意力层提速72.4倍(配图 4)

D-LSA 和 N-LSA 的整体情况。上半部分讲的是一个注意力层里的流程:key 先经过池化、再聚类成若干桶,query 只对桶中心打分,随后仅查看被选中的远程 key,另外还带上 sink 和滑动窗口;下半部分给出两种变体在精度和加速上的表现。

分组方式才是要害。眼下多数块稀疏做法都照位置切分,把挨着的几个key捆成一块,好比图书馆按到货时间装箱、每箱贴张摘要。麻烦在于,箱里只要混进一本关键的书,它的信息就可能被同箱那几本不相干的书目摘要盖住。

LSA改走内容路线。它先将key投影进一个经学习得到的低维隐空间,随后在该空间里用层次聚类(Ward方法)把语义相近的key装进同一个「桶」,桶里只留一个中心向量,外加一张记下桶内key位置的索引表。查询时query先与桶中心向量打分,挑出最相关的几个桶,再把桶「展开」成具体key,凑够k个送进注意力。

还拿图书馆打比方:书不按入库日期装箱了,改按主题上架。想找量子纠错的书,直奔那一排书架即可;同一主题的书也许十年间陆续到货,却摆在一起。

这一步带来的是常数级收益,论文称之为Flat(扁平)搜索。真正把复杂度改掉的是Tree(树)变体:桶之上再聚成更大的「节点桶」,一层层往上垒成一棵层次树。query从树顶起步,每层只保留得分最高的若干分支继续往下(束搜索)。这就像先挑楼层、再挑区域、再挑书架,每个query只需检查O(log T)个中心向量,索引器的prefill从二次方降到O(T log T),论文标题里的「次二次方」(subquadratic)说的就是这件事。

Prefrontal AI与ETH提出LSA:10M token下注意力层提速72.4倍(配图 5)

D-LSA设计。左侧是Flat搜索:key经投影、池化、聚类后进入桶缓存,query为桶中心打分并展开成top-k索引;右侧是Tree搜索:桶被组织成多层层次结构,query靠束搜索逐层下探。

两种用法:嫁接进已有模型,或者从头长出来

LSA的落地方式有两种。

其一是D-LSA(Distilled-LSA),针对已训练完成的模型。原模型参数全部冻结,每层只加两个小投影矩阵,把key和query投到64维的索引空间,再用蒸馏让LSA的打分逼近原模型注意力的分布。整轮蒸馏只消耗3.52亿token,作为参照,DeepSeekDSA光索引器的稠密预热阶段就用了21亿token。论文另给了一个完全免训练的版本,直接拿key的主成分方向当投影,在Qwen3.8-27B上精度与训练版本接近。

其二是N-LSA(Native-LSA),预训练阶段就原生使用LSA,只依赖标准的下一token预测损失来训练。它直接对注意力自身的key做聚类,既不用额外的索引投影,也不需要教师模型和辅助损失,模型参数量一个不增。

Prefrontal AI与ETH提出LSA:10M token下注意力层提速72.4倍(配图 6)

N-LSA设计。注意力层直接对自身的key聚类,仅靠下一token预测损失即可从头训练。

工程实现上,团队针对H200和B300编写了聚类、打分、选择、展开的GPU kernel(另有一个能在任意GPU上跑的Triton版本),并把LSA接进了SGLang,支持张量并行、专家并行、流水线并行,以及prefill和decode阶段的上下文并行。

1000万token下的成绩单

先看精度。团队拿Qwen3.8-27B(注意力层为全注意力)和GLM-5.3-Flash(自带稀疏注意力)两个模型测D-LSA,把上下文推到10M token,远超两者官方给出的1M上限。在MMLU-Pro、GPQA-Diamond、AIME25、MATH500、LongBench v2等知识、推理和长上下文任务上,D-LSA均落在基线的95%置信区间内,模型的推理长度也没有明显变化。

在4k到10M token的RULER上,Qwen3.8-27B加D-LSA在1M以内与全注意力的差距不超过5分,到10M反倒以63.9比59.9实现反超。GLM-5.3-Flash加D-LSA在1M以内与原生稀疏注意力相差3分以内,2M到5M区间最多落后8分,10M时差距收回到4分以内。需要说明的是,GLM的基线稀疏注意力与模型一起训练,而D-LSA只是在冻结模型上做了蒸馏,这个比较本身对基线有利。

为在更贴近现实的场景里检验超长上下文能力,团队还造了一个新基准PaperTrail。

它把一条条虚构的「研究线索」塞进大量真实的2026年arXiv论文里:一篇虚构论文给出某个结果,若干真实论文中被插入引用它的段落,几周后另一篇虚构论文修正数值并给方法改名,而部分后续论文仍在引用旧值,与真实学术文献的情形相仿。模型要像做文献综述那样找到这些事实并串起来,10M规模的样本包含近400到465篇论文。在这个基准上,Qwen3.8-27B加D-LSA在10M token下得分29.1,全注意力为19.8。

Prefrontal AI与ETH提出LSA:10M token下注意力层提速72.4倍(配图 7)

D-LSA在知识、推理与长上下文任务(最长10M token)上的精度,与全注意力及稀疏注意力基线相当。

再看速度,这也是整项工作最抢眼的地方。10M token下单个注意力层的prefill,D-LSA比GLM-5.3-Flash原生稀疏注意力快22.7倍,比Qwen3.8-27B的全注意力快72.4倍;decode阶段分别快4.6倍和42.5倍。加速比随上下文变长而拉大:1M token时对GLM-5.3-Flash的prefill加速为3.5倍,512k时只有2.1倍,原因是上下文较短时逐块扫描本就不贵。按趋势外推,Tree变体在1亿token时预计比基线稀疏注意力快90倍以上。

放到整个模型里,单层获得的加速会被摊薄,毕竟还有不少层并不受这套机制影响。SGLang 的实际部署给出了具体数字:10M token 下,D-LSA 把 GLM-5.3-Flash 的首 token 时间(TTFT)压短 2.2 倍(上下文并行),从约 7.5 分钟降至约 3.4 分钟;Qwen3.8-27B 这边缩短 9.2 倍,从约 76 分钟降到约 8 分钟。

索引自身吃掉的显存同样更少。10M token 时,D-LSA 每层索引为 246 MiB,GLM-5.3-Flash 原生方案要 331 MiB,Qwen 风格的块稀疏方案则为 642 MiB。

Prefrontal AI与ETH提出LSA:10M token下注意力层提速72.4倍(配图 8)

图中给出三项数据:D-LSA 单个全局注意力层的加速比(对数坐标)、10M token 下的索引显存,以及外推到 100M token 的 prefill 耗时。

N-LSA 那边的实验规模小不少。团队从零训练了一个约 5 亿参数的混合模型,24 层里每 4 层安排 1 层注意力层,其余是 Gated DeltaNet 线性注意力层,并在 128k token 上下文下做退火训练。结果是 N-LSA 的验证损失与全注意力打平,都是 1.085;同样稀疏预算下,PISA、NSA 和滑动窗口注意力分别是 1.100、1.117 和 1.154。128k 的 RULER 上,N-LSA 拿到 32.2,全注意力为 34.7,NSA 和 PISA 掉到 19.2 和 14.6。训练速度上,128k 时单个注意力层的前向加反向,比 FlashAttention-3 实现的全注意力快 1.6 倍。

Prefrontal AI与ETH提出LSA:10M token下注意力层提速72.4倍(配图 9)

这组图展示 N-LSA 的训练加速:左边是单个注意力层前向加反向的加速比,右边是退火阶段整个模型的验证损失随训练时间的变化。

结语

这几年长上下文的比拼,主线一直是让注意力「少看一点」。最早是固定的滑动窗口,后来DeepSeek的 DSA 出现,各家又陆续推出块稀疏方案,行业基本已经证明:只看不到 1% 的 token,精度也能撑住。LSA 点出的则是下一个卡点——「看」便宜了,「找」反而成了开销的大头。

把注意力层做成带层次索引的检索系统,这个思路不算新鲜,Reformer、Routing Transformer 等早期工作都试过按内容来组织 key,但在 1M 以上规模同时验证精度和速度的方法此前并不多见。Agent 已经开始接手持续数天的科研、编程等长程任务,上下文窗口只会越拉越长,到那时左右成本曲线的,或许就是索引器的复杂度。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 千万token上下文:98%时间耗在选token,如何再快22倍?

    编辑|Panda如今,百万 token 上下文已经从卖点变成了标配。4 月,DeepSeek-V4 把 1M 上下文定为所有官方服务的默认规格;8 月,智谱发布的 GLM-5.3-Flash 同样支持 1M 上下文,并首次在 GLM 系列中引入稀疏注意力与线性注意力的混合架构。这些模型背后有一个共同的选择:让每个 qu

    来源 腾讯网
  2. DeepSeek因算力不足限额;AI演员代言美瞳被罚6.82万余元

    今日头条腾讯发文:已到生死存亡时刻11月16日,腾讯对外公布总办LinkTime现场笔记。面对AI巨浪,在这场深度发声里,腾讯总办以“心态归零”为主题,用“生死存亡”“迅速上船迎战”“打破山头”等词汇定调,言辞之间,透露出很强的危机感与变革急迫性,并对内部的组织积弊与员工心态亮出了态度。“现在进行的智能革命如果不投入拥

    来源 腾讯网
  3. DeepSeek App与网页版限额:长对话超7天不活跃不再保留?

    【TechWeb】11月16日消息,据多名用户在社交平台发帖反馈,DeepSeek已对App与网页版的长对话功能实施了使用限额。有用户在使用DeepSeek时被提示因“算力不足,不再支持超过7天不活跃的长对话”,并对单次输入文字的上限进行了调整,缩短至4万字左右。此外,还会限制每日的对话额度,当用户日使用量达到上限时,

    来源 腾讯网
  4. DeepSeek免费额度被指收紧:长对话、每日用量、单次输入均受限

    国产大模型DeepSeek的免费使用额度疑似遭到限制。11月16日,“DeepSeek使用额度已达上限”登上微博热搜。不少用户在社交媒体上反映,DeepSeek对App及网页版的使用额度进行了调整,包括限制长对话、每日使用额度以及单次文字输入长度。截至发稿,DeepSeek尚未对此作出官方回应。值得注意的是,DeepS

    来源 腾讯网
  5. DeepSeek调整使用规则:超7天对话不保留,单次输入约4万字

    DeepSeek近期对旗下App及网页版实施长对话使用限制,涉及历史对话保留、单次输入长度及每日对话额度等多个方面。据用户反馈,此次调整主要与平台当前算力资源承载压力有关。 具体来看,DeepSeek目前不再支持超过7天未活跃的长对话历史,单次提问的文字输入上限也下调至约4万字。同时,平台新增每日对

    来源 AI 开发者社区
  6. DeepSeek调整使用规则:7天历史对话、4万字输入与每日额度

    DeepSeek近期对App及网页版实施长对话使用限制,涉及历史对话保留、单次输入长度和每日对话额度。用户反馈称,此举与平台算力资源承压有关。具体调整包括:不再支持超过7天未活跃的长对话历史,单次提问输入上限降至约4万字;新增每日对话额度,达上限后系统提示“因服务器繁忙”。

    来源 AI 产业速递
  7. 腾讯Hy4 flash发布:224B参数,输入0.5元/百万Token

    在 WorkBuddy 中实测腾讯 Hy4 flash,涵盖深度研究、3D 网页、游戏开发和办公任务。与 DeepSeek V4.1 Flash 相比,两者整体交付质量相近,前者首轮交付更快;生成交互帆船原型耗时半小时,按 API 定价估算费用约 0.23 元。

    来源 爱范儿
  8. DeepSeek限制长对话引用户喊话:收费能解决问题吗?

    AI应用风向标(公众号:ZhidxcomAI)作者|毕伟豪 编辑|漠影智东西11月16日报道,从昨天开始,网上陆续出现了DeepSeek开始对App及网页版部分功能进行使用限制的消息,涉及长对话、单次输入字数及每日使用额度等。有用户反馈,DeepSeek以“算力不足”为由,限制超过7天未活跃的长对话继续使用,部分用户显

    来源 腾讯网
  9. DeepSeek限流:长对话超7天不能用,单次输入上限约4万字

    11月16日,科创版日报,因算力资源供给紧张,DeepSeek面向普通用户的App及网页版对话服务推出限额使用措施。 据多名用户反馈,DeekSeek出现弹窗提示,受算力约束,不再支持存续超过7天且无活跃交互的长对话,这类闲置会话将无法接续使用,与此同时下调单次输入文本上限,当前单次输入文字上限约为4万字。此外,还会限

    来源 AI 行业观察
  10. DeepSeek对免费用户限额:长对话、日额度、输入长度均受限

    据第一财经,11月16日,不少用户在社交媒体上反映,DeepSeek近期对App及网页版的使用额度进行了调整,包括限制长对话、每日使用额度以及单次文字输入长度,原因是“算力不足”。部分用户甚至在使用不到两小时后,就收到了额度耗尽的提示。截至发稿,DeepSeek官方尚未发布统一的限额规则及相关说明,也未披露限制何时解除

    来源 腾讯网
  11. DeepSeek限流调整:长对话不再续用,单次输入上限约4万字

    11月16日,科创版日报,因算力资源供给紧张,DeepSeek面向普通用户的App及网页版对话服务推出限额使用措施。据多名用户反馈,DeekSeek出现弹窗提示,受算力约束,不再支持存续超过7天且无活跃交互的长对话,这类闲置会话将无法接续使用,与此同时下调单次输入文本上限,当前单次输入文字上限约为4万字。此外,还会限制

    来源 腾讯网
  12. DeepSeek 不限额的用法,都在这里了 | 附指南

    DeepSeek 免费对话出现额度限制,App 暂无会员可开。本文介绍官方 API 充值与计费、DeepSeek Harness 和手机端 Chat Demo 的接入方法,以及历史聊天记录迁移、本地存储和跨设备同步的注意事项。

    来源 爱范儿
  13. DeepSeek开放全家桶API:联网搜索价格不到OpenAI、Claude的8%

    让一个大模型回答问题并不难,但要让它搜索互联网、阅读网页、解析 PDF,再将找到的信息组织成带有引用的回答,开发者往往需要额外搭建一套工具系统。这些工作构成了 AI 应用开发中一层容易被忽略的工程负担。 11 月 13 日,DeepSeek 宣布开放“全家桶应用 API”,试图减少这部分工作。它将官方 App 和网页端

    来源 AI 行业观察
  14. DeepSeek长对话72小时上限:先给出口,再设限制

    11月15日下午,突然有多位DeepSeek用户表示,当他们想接着几天前的对话往下聊时,手机App就会弹出一条提示:“由于算力不足,已超过72小时的长对话暂不可用,可导出对话到其他App使用。”

    来源 凤凰科技
  15. DeepSeek长对话超72小时被限:算力不足,官方尚未回应

    11月15日下午,突然有多位DeepSeek用户表示,当他们想接着几天前的对话往下聊时,手机App就会弹出一条提示:“由于算力不足,已超过72小时的长对话暂不可用,可导出对话到其他App使用。” 社区里,有用户整理了同时出现的另外几种报错,比如“内容超长,请删减后再试”、“修改输入次数超过限制,消息未发送”、“消息数量

    来源 AI 行业观察
  16. Octop团队模式拆解:Super-agent双层架构怎么分工

    作者:Jubaoliang,Octop 负责人导读DeepSeek 近日发布长文,系统阐述了其 Super-Agent 设计理念——打破 AI「单次仅能处理单一任务」的旧范式,以调度员(Router)加执行单元(Worker)的双层架构实现任务并行与后台运行,解放用户等待时间。无独有偶,在工程实践的另一条路径上,Oct

    来源 腾讯网
向下滚动自动加载更多