Prefrontal AI联合ETH提出LSA:10M上下文注意力提速22.7倍

资讯 AI 行业观察 全文 5264 字 · 约 14 分钟读完 配图 12 张 分类DeepSeek深度求索Deepseek

干万token下,比DeepSeek式稀疏注意力再快22倍

所属频道 开源生态
Prefrontal AI联合ETH提出LSA:10M上下文注意力提速22.7倍(配图 1)

百万 token 上下文眼下已是标配,不再是卖点。4 月,DeepSeek-V4 把 1M 上下文设为所有官方服务的默认规格;8 月,智谱发布的 GLM-5.3-Flash 也支持 1M 上下文,并在 GLM 系列中第一次把稀疏注意力与线性注意力混在一起用。这些模型做法一致:每个 query 不再翻遍全部历史 token,只挑少数最相关的来看。


在 1M 这个量级上,这条路已经被反复验证过。但上下文往 1000 万 token 推,一项原先不显眼的开销就压不住了。拿 GLM-5.3-Flash 的一个全局注意力层来说,10M token 下做 prefill,98% 的时间没花在注意力计算上,花在了判断「该看哪些 token」的索引器上。


这样一来,问题的性质就变了。稀疏注意力早就证明,只看一小部分足以保住精度;真正让超长上下文卡住的,是找出那一小部分的过程仍会随上下文长度按二次方增长。


伦敦初创公司 Prefrontal AI 与苏黎世联邦理工学院(ETH Zurich)现在联合发了一篇论文,提出一种新方法,叫 Latent Sparse Attention(LSA,隐空间稀疏注意力)。


Prefrontal AI联合ETH提出LSA:10M上下文注意力提速22.7倍(配图 2)


在 10M token 下,它让 GLM-5.3-Flash 单个注意力层的 prefill 快了 22.7 倍,Qwen3.8-27B 则快了 72.4 倍;同时,在一系列任务上,精度与原模型相近。


Prefrontal AI联合ETH提出LSA:10M上下文注意力提速22.7倍(配图 3)


  • 这篇论文的题目是 Latent Sparse Attention: Towards Subquadratic Ultra-Long Context Attention。

  • 论文地址:https://arxiv.org/abs/2610.42147

  • 代码地址:https://github.com/Prefrontal-AI/latent-sparse-attention


稀疏注意力有一笔不容易被看见的成本。


先看注意力的成本是怎么来的。标准全注意力中,每个 query 都要跟此前所有 key 逐一算相关性;上下文长度记为 T 时,prefill 的计算量为 O(T²),每解码一个 token 则是 O(T)。上下文从 100 万 token 拉到 1000 万 token,prefill 在注意力上的计算量就会翻 100 倍。


稀疏注意力的做法是把活分出去:先让一个轻量的「索引器」(indexer)替每个 query 选出 k 个最相关的 key,真正的注意力只在这 k 个 key 上算。注意力本身的开销由此压到 O(Tk)。


这套做法要成立,前提是模型确实只需少量 key。论文附录对此做了验证:在 128k token 下,让 Qwen3.8-27B 的每个 query 只关注它「真正」最相关的 512 个 key(约占全部 key 的 0.8%),模型在 RULER 长上下文基准上仍能保住全注意力 98% 的精度。


可这里有个绕不开的矛盾:索引器要判断哪 512 个 key 最相关,就得先给每个 key 打分。DeepSeek 的 DSA、MiniMax 的稀疏注意力,还有 GLM-5.3-Flash、Qwen 等模型用的块稀疏方案,各自靠降精度、减维度、把 4 个 key 压成 1 个等办法给索引器「减负」。问题是这些改进只是把常数项除了几倍,索引器的工作量仍旧随上下文线性增长,prefill 也还是二次方。


可以这样理解:从一座藏书上千万册的图书馆里借 4096 本书,借书动作本身不慢,费劲的是确定借哪 4096 本——得把每本书的书脊都过一遍。书越多,看脊的时间占比越大。论文测算,10M token 下若索引器开销能归零,稀疏注意力的 prefill 还可再快 58 倍。


Prefrontal AI联合ETH提出LSA:10M上下文注意力提速22.7倍(配图 4)

超长上下文下传统稀疏注意力的耗时构成(GLM-5.3-Flash 单个全局注意力层,单张 H200):到 10M token 时,索引器占 prefill 总时间的 98%。


不按时间排,改按语义排


LSA的做法是换掉逐个检查key这一步,转向检查「key的分组」。


Prefrontal AI联合ETH提出LSA:10M上下文注意力提速22.7倍(配图 5)

上图为D-LSA与N-LSA总览:在一个注意力层里,key先经过池化和聚类变成桶,query只对桶中心打分,随后仅查看被选中的远程key,此外还有sink和滑动窗口;下图给出两种变体的精度与加速表现。


分组方式才是要害。现有块稀疏方法多数按位置切块,把挨着的几个key归成一块。这好比图书馆按入库时间装箱,每箱贴一张摘要。可一箱里只要有一本关键的书,它的信息就可能被其余几本无关书目的摘要「淹没」。


LSA改成按内容分组。key先被投影进一个经过学习的低维隐空间(latent space),随后在这个空间里用层次聚类(Ward方法)把语义接近的key放进同一个「桶」(bucket),每个桶只留一个中心向量,外加一张记录桶内key位置的索引表。查询阶段,query只与桶的中心向量打分,挑出最相关的若干桶,再把桶「展开」成具体key,凑满k个送进注意力。


还拿图书馆打比方:书不按入库日期装箱,改按主题上架。想找量子纠错的书,直奔那一排书架即可;同一主题的书可能十年间陆续入库,却摆在一起。


这一步带来的收益是常数级的,论文称之为Flat(扁平)搜索。真正改变复杂度的是Tree(树)变体:桶再往上聚成更大的「节点桶」,一层层叠成一棵层次树。query从树顶往下走,每层只保留得分最高的若干分支(束搜索)。先选楼层、再选区域、再选书架,每个query只需检查O(log T)个中心向量,索引器的prefill从二次方降到O(T log T),论文标题里的「次二次方」(subquadratic)正由此而来。


Prefrontal AI联合ETH提出LSA:10M上下文注意力提速22.7倍(配图 6)

D-LSA设计:左边是Flat搜索,key经投影、池化、聚类后写入桶缓存,query对桶中心打分并展开为top-k索引;右边是Tree搜索,桶被组织成多层层次结构,query以束搜索逐层下探。


落地有两种路径:接到已有模型上,或者从零训练。


LSA给出了两种使用方式。


其一是D-LSA(Distilled-LSA),针对已经训练好的模型。原模型全部参数被冻结,每层仅加两个小投影矩阵,把key和query投到64维的索引空间,再借蒸馏让LSA的打分逼近原模型注意力的分布。整轮蒸馏只消耗3.52亿token;作为参照,DeepSeek DSA仅索引器的稠密预热阶段就用了21亿token。论文另给了一个完全免训练的版本,直接拿key的主成分方向当投影,在Qwen3.8-27B上与训练版本精度接近。


第二种做法叫 N-LSA(Native-LSA),预训练阶段就直接用上 LSA,训练信号只有标准的下一 token 预测损失。它不对注意力另加索引投影,也无需教师模型或辅助损失,聚类的对象就是注意力层自己的 key,模型参数量一点没涨。这套设计的要点在于:注意力层直接对自身 key 做聚类,从头训练仅靠下一 token 预测损失即可完成。


Prefrontal AI联合ETH提出LSA:10M上下文注意力提速22.7倍(配图 7)


落到工程实现上,团队针对 H200 和 B300 写了聚类、打分、选择、展开四类 GPU kernel,另外还有一版 Triton 实现,能在任意 GPU 上跑。LSA 也被接进了 SGLang,张量并行、专家并行、流水线并行都支持,prefill 与 decode 阶段的上下文并行同样覆盖。


1000 万 token 下的成绩单


先看精度。测试选了两个模型:Qwen3.8-27B 的注意力层是全注意力,GLM-5.3-Flash 则自带稀疏注意力。团队在其上跑 D-LSA,把上下文拉到 10M token,比两者官方标称的 1M 上限高出不少。MMLU-Pro、GPQA-Diamond、AIME25、MATH500、LongBench v2 这些覆盖知识、推理和长上下文的任务上,D-LSA 的成绩都落在基线 95% 置信区间内,模型推理长度也没出现明显变化。


在 4k 到 10M token 的 RULER 上,Qwen3.8-27B 加 D-LSA 在 1M 以内与全注意力的分差没有超过 5 分,到 10M 时反倒以 63.9 比 59.9 领先。GLM-5.3-Flash 加 D-LSA 这边,1M 以内与原生稀疏注意力相差不到 3 分,2M 至 5M 区间最多落后 8 分,10M 时差距收回到 4 分以内。不过要说明一点:GLM 的基线稀疏注意力是跟模型一起训练的,D-LSA 只在冻结模型上做了蒸馏,这个对比其实对基线更有利。


团队还搭了一个新基准 PaperTrail,用来在更贴近现实的场景里考察超长上下文能力。它的做法是把一条条虚构的「研究线索」塞进大量真实的 2026 年 arXiv 论文:一篇虚构论文给出某个结果,若干真实论文里被插入引用它的段落,几周后另一篇虚构论文修正数值、给方法改名,而部分后续论文仍沿用旧值——跟真实的学术文献一个样子。模型得仿照做文献综述的路子,把这些事实找出来并串起来,10M 规模的样本包含近 400 到 465 篇论文。在该基准上,Qwen3.8-27B 加 D-LSA 在 10M token 下拿到 29.1 分,全注意力为 19.8 分。



Prefrontal AI联合ETH提出LSA:10M上下文注意力提速22.7倍(配图 8)

知识、推理与长上下文任务(最长 10M token)上,D-LSA 的精度与全注意力、稀疏注意力基线相当。


速度是这项工作最扎眼的地方。10M token 下,单层注意力的 prefill,D-LSA 比 GLM-5.3-Flash 的原生稀疏注意力快 22.7 倍,比 Qwen3.8-27B 的全注意力快 72.4 倍;decode 阶段分别快 4.6 倍和 42.5 倍。加速比随上下文变长而拉大:1M token 时对 GLM-5.3-Flash 的 prefill 加速是 3.5 倍,512k 时只有 2.1 倍,原因在于上下文短的时候逐块扫描本来就不算贵。按这个趋势外推,Tree 变体在 1 亿 token 时预计能比基线稀疏注意力快 90 倍以上。


不过,单层里的加速效果放到整个模型上会被摊薄——模型里还有不少层根本不受影响。按 SGLang 实际部署的数据,10M token 下 D-LSA 把 GLM-5.3-Flash 的首 token 时间(TTFT)压到原来的约 1/2.2(上下文并行),由约 7.5 分钟降至约 3.4 分钟;Qwen3.8-27B 这边缩短 9.2 倍,从约 76 分钟落到约 8 分钟。


索引占用的显存同样更低。10M token 时,D-LSA 每层索引为 246 MiB,GLM-5.3-Flash 原生方案要 331 MiB,Qwen 风格的块稀疏方案则需 642 MiB。


Prefrontal AI联合ETH提出LSA:10M上下文注意力提速22.7倍(配图 9)

上述结果对应三组数据:D-LSA 单个全局注意力层的加速比(对数坐标)、10M token 下的索引显存,以及外推到 100M token 的 prefill 耗时。


N-LSA 这边的实验规模小不少。团队从零训练了一个约 5 亿参数的混合模型,24 层里每 4 层设 1 层注意力层,其余是 Gated DeltaNet 线性注意力层,在 128k token 上下文下做退火训练。结果是 N-LSA 的验证损失与全注意力打平,都是 1.085;同样稀疏预算下,PISA、NSA 和滑动窗口注意力分别是 1.100、1.117 和 1.154。128k 的 RULER 上,N-LSA 拿到 32.2,全注意力为 34.7,NSA 和 PISA 掉到 19.2 和 14.6。训练速度上,单个注意力层的前向加反向在 128k 时比 FlashAttention-3 的全注意力实现快 1.6 倍。


Prefrontal AI联合ETH提出LSA:10M上下文注意力提速22.7倍(配图 10)

N-LSA 的训练加速情况:左图是单个注意力层前向加反向的加速比,右图是退火阶段整个模型的验证损失随训练时间的变化。


结语


长上下文这几年的竞争主线,是让注意力「少看一点」。从固定滑动窗口,到 DeepSeek 的 DSA,再到各家的块稀疏方案,只看不到 1% 的 token 也能保住精度,这一点行业已基本验证。LSA 指向的是下一个瓶颈:当「看」变便宜了,「找」就成了开销的大头。


把注意力层做成带层次索引的检索系统,这个思路不算新。Reformer、Routing Transformer 等早期工作都试过按内容组织 key,但真正在 1M 以上规模同时验证精度和速度的方法此前并不多。Agent 已经开始承担持续数天的科研、编程等长程任务,上下文窗口只会继续变长,到时候左右成本曲线的,可能正是索引器的复杂度。


图片


本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. DeepSeek Harness 实战:从零搭建你的第一个 AI Agent 工作流

    DeepSeek Harness (dsh) 是一款开源的 Agent 运行框架,它让 AI 能够直接操作你的本地文件系统和终端。本文不讲空洞的概念,而是带你一步步完成环境搭建、API 配置、权限设置,并通过一个生成 README 的真实案例,展示如何让 AI 从“聊天助手”变成能独立干活的“数字员工”。适合希望提升开

    来源 AI 应用前沿
  2. DeepSeek因算力不足限额;AI演员代言美瞳被罚6.82万余元

    今日头条腾讯发文:已到生死存亡时刻11月16日,腾讯对外公布总办LinkTime现场笔记。面对AI巨浪,在这场深度发声里,腾讯总办以“心态归零”为主题,用“生死存亡”“迅速上船迎战”“打破山头”等词汇定调,言辞之间,透露出很强的危机感与变革急迫性,并对内部的组织积弊与员工心态亮出了态度。“现在进行的智能革命如果不投入拥

    来源 腾讯网
  3. DeepSeek长对话突遭限制:超72小时不可用,官方暂无说明

    11月15日下午,突然有多位DeepSeek用户表示,当他们想接着几天前的对话往下聊时,手机App就会弹出一条提示:“由于算力不足,已超过72小时的长对话暂不可用,可导出对话到其他App使用。” 社区里,有用户整理了同时出现的另外几种报错,比如“内容超长,请删减后再试”、“修改输入次数超过限制,消息未发送”、“消息数量

    来源 AI 行业观察
  4. DeepSeek长对话超72小时被限:算力不足,官方尚未回应

    11月15日下午,突然有多位DeepSeek用户表示,当他们想接着几天前的对话往下聊时,手机App就会弹出一条提示:“由于算力不足,已超过72小时的长对话暂不可用,可导出对话到其他App使用。” 社区里,有用户整理了同时出现的另外几种报错,比如“内容超长,请删减后再试”、“修改输入次数超过限制,消息未发送”、“消息数量

    来源 AI 行业观察
  5. DeepSeek调整使用规则:超7天对话不保留,单次输入约4万字

    DeepSeek近期对旗下App及网页版实施长对话使用限制,涉及历史对话保留、单次输入长度及每日对话额度等多个方面。据用户反馈,此次调整主要与平台当前算力资源承载压力有关。 具体来看,DeepSeek目前不再支持超过7天未活跃的长对话历史,单次提问的文字输入上限也下调至约4万字。同时,平台新增每日对

    来源 AI 开发者社区
  6. DeepSeek限制长对话引用户喊话:收费能解决问题吗?

    AI应用风向标(公众号:ZhidxcomAI)作者|毕伟豪 编辑|漠影智东西11月16日报道,从昨天开始,网上陆续出现了DeepSeek开始对App及网页版部分功能进行使用限制的消息,涉及长对话、单次输入字数及每日使用额度等。有用户反馈,DeepSeek以“算力不足”为由,限制超过7天未活跃的长对话继续使用,部分用户显

    来源 腾讯网
  7. DeepSeek对免费用户限额:长对话、日额度、输入长度均受限

    据第一财经,11月16日,不少用户在社交媒体上反映,DeepSeek近期对App及网页版的使用额度进行了调整,包括限制长对话、每日使用额度以及单次文字输入长度,原因是“算力不足”。部分用户甚至在使用不到两小时后,就收到了额度耗尽的提示。截至发稿,DeepSeek官方尚未发布统一的限额规则及相关说明,也未披露限制何时解除

    来源 腾讯网
  8. DeepSeek“幸福的烦恼”背后

    10月下旬,DeepSeek V4.1 Flash在一周内完成了33.6万亿Token调用,环比暴涨8倍,冲到全球第一。也是在这个10月,DeepSeek出现了8起服务中断。紧接着在11月16日,DeepSeek宣布不再支持超过7天不活跃的长对话,单次输入上限砍到4万字,日对话额度设限。图片来源:视觉中国无独有偶,De

    来源 腾讯网
  9. DeepSeek长对话72小时上限:先给出口,再设限制

    11月15日下午,突然有多位DeepSeek用户表示,当他们想接着几天前的对话往下聊时,手机App就会弹出一条提示:“由于算力不足,已超过72小时的长对话暂不可用,可导出对话到其他App使用。”

    来源 凤凰科技
  10. 腾讯Hy4 flash发布:224B参数,输入0.5元/百万Token

    在 WorkBuddy 中实测腾讯 Hy4 flash,涵盖深度研究、3D 网页、游戏开发和办公任务。与 DeepSeek V4.1 Flash 相比,两者整体交付质量相近,前者首轮交付更快;生成交互帆船原型耗时半小时,按 API 定价估算费用约 0.23 元。

    来源 爱范儿
  11. 英伟达Vera Rubin首秀MLPerf:全项横扫,每GPU算力翻倍

    2026年11月16日,英伟达Vera Rubin NVL72在MLPerf Training v6.1全部基准项目首秀即横扫,成为本轮唯一覆盖所有测试类别的平台。与上一代GB300 NVL72相比,每GPU训练性能最高提升2倍,在DeepSeek-V3基准上以97%效率将256至1,024 GPU的扩展效率

    来源 AI 科技快讯
  12. DeepSeek算力吃紧设使用限额;太空核爆一周可废98%低轨卫星

    将环球科学设为星标周一至周五第一时间掌握最新鲜的全球科技资讯· 人工智能 ·DeepSeek因算力不足限额据澎湃新闻报道,11月16日“DeepSeek使用额度已达上限”登上微博热搜,许多用户反映,DeepSeek对App和网页版的使用额度进行了调整,包括限制长对话、每日使用额度以及单次文字输入长度。从社交平台上公开的

    来源 腾讯网
  13. GPT-6 Astra仅对26.7%:Visual Cipher Bench为何难住顶级AI?

    修 bug、写功能、跑长任务…… 今天的 Agent 几乎都能做。因为要求有文字说明,做错了有测试报错。那如果规则只画在图里呢?一张黑白线稿,几个编号,几条箭头。没有题干,没有选项,做对做错也没人告诉你。所有线索都在图里,很难转成文字,只能反复看图、提假设、再回到图里验证。这就是长程视觉推理。8 个前沿模型、3480

    来源 腾讯网
  14. 三大厂内存涨价7倍的锅,AI不背了

    最近,硬件圈发生了一件魔幻的事。因为新一代DDR5内存条贵得离谱,而老款DDR4和DDR5插槽互不兼容,逼得多家主板厂从年中开始掉头重启了原本停产的DDR4主板产线。 更离谱的是,玩家去市场上一问价,发现老旧的DDR4不仅没便宜,近期涨幅一度反超了新款DDR5。今年的笔记本新品们,更是集体退回16GB内存时代。 这一年

    来源 AI 行业观察
  15. 10元探店,6元模特:月入800万的AI假体验生意,谁在买单?

    本地生活赛道,探店生意曾形成一条完整的产业链,如今正被AI侵蚀。 传统真人探店拍摄剪辑动辄数百上千元,而现在AI将单条内容的的成本压到10元以内。商家只需上传一张门头照、几张菜肴图,再配一个AI主播,即可生成一条AI探店视频。 此外,抖音等平台上已出现专门的AI探店账号,有博主仅1.9万粉丝,专注此类内容,首页显示累计

    来源 AI 行业观察
向下滚动自动加载更多