公告 AiTest123 交流群已开放 欢迎进群交流功能建议、产品想法、数据问题和使用反馈

AiTest123.comAiTest123.comAI 评测与可信度检测平台

DeepSeek开源推理引擎DeepInfer：单集群日处理155万亿Token

资讯 雷峰网 全文 4407 字 · 约 12 分钟读完 配图 16 张 分类DeepSeek深度求索开源Deepseek

单集群日处理约 155 万亿 Token，推理优化争夺毫秒。

所属频道 开源生态
DeepSeek 又一开源重器！深挖 DeepInfer 究竟藏着多少技术狠活？
推理优化的竞争，现在拼的是毫秒级。单集群每天要处理的量级，大约是155万亿Token。

昨天DeepSeek在GitHub上又放出一个大项目，名字叫DeepInfer。这回没有新模型，拿出来的是DeepSeek-V4.1-Flash背后的推理引擎，MoE专家并行、异步Batch调度、定制Kernel、推测解码这些核心技术都在里面。
DeepSeek 又一开源重器！深挖 DeepInfer 究竟藏着多少技术狠活？
DeepSeek同时给了一组数字：一个集群一天要处理约155万亿个Token。流量这么大，GPU每轮计算哪怕只浪费一点资源，攒起来也不是小数目。
眼下DeepInfer开放的只是离线推理能力，线上KV Cache存储、跨副本负载均衡这些组件还没有完整公开。不过从已经放出的代码里，能看出DeepSeek怎么在大规模推理中安排计算、通信和请求调度。
DeepSeek 又一开源重器！深挖 DeepInfer 究竟藏着多少技术狠活？
里面有一套异步调度机制，叫Zero-Overhead Batch Scheduler。它要解决的问题很具体：GPU明明算完了，却得停下来等CPU把上一轮生成结果整理好、更新请求状态，然后才安排下一轮。
碰上要连续生成几千个Token的请求，这种短暂等待会一遍遍出现，GPU的实际利用率也跟着受影响。DeepInfer的做法是让CPU提前一轮安排计算，把原本串行的调度和模型前向叠在一起。
DeepSeek 又一开源重器！深挖 DeepInfer 究竟藏着多少技术狠活？
可提前排程也有代价：下一轮计算启动时，上一轮的Token可能还没走完CPU后处理，序列长度、KV Cache状态和请求生命周期之间就出现了时间差。整套机制的技术难点，就落在这种跨轮次的状态管理上。
DeepSeek 又一开源重器！深挖 DeepInfer 究竟藏着多少技术狠活？

01

重新安排Decode时序

传统推理引擎的Decode一般按固定顺序走：CPU挑请求、组织Batch和KV Cache元数据，GPU执行Forward与Sampling，接着CPU读结果、更新生成长度和请求状态，再启动下一轮。
DeepGEMM、FlashMLA这些底层Kernel一直在优化，GPU单轮计算时间越来越短，CPU调度和结果处理的耗时占比反而更显眼。Decode阶段尤其明显，模型每轮处理的Token数量有限，CPU和GPU频繁交接执行权，空档会持续累积。雷峰网
DeepSeek 又一开源重器！深挖 DeepInfer 究竟藏着多少技术狠活？
Zero-Overhead Batch Scheduler把这套执行顺序调了个个儿。按公开实现，GPU处理第N轮Forward和Sampling时，CPU已经在准备第N+1轮Batch，还趁着设备计算的空档处理更早一轮的采样结果。部分工作能提前提交到GPU执行队列，依赖关系交给CUDA Stream和Event维护。
具体实现里，WorkerStepState负责保存跨轮次执行状态，SequenceMetadata、SchedulerOutputs、SamplerOutput，以及Forward和Sampling对应的CUDA Event都在其中。
上一轮的结果因此可以先留着，CPU不必等它全部完成后处理，就能接着推进后面的调度。
DeepSeek 又一开源重器！深挖 DeepInfer 究竟藏着多少技术狠活？
LLMEngine通过Worker回调把这些操作串起来，原本挤在相邻Decode Step之间的CPU工作，被摊到了GPU计算期间。对持续生成的请求来说，流水线进入稳定状态后，CPU和GPU各管不同轮次，设备因调度工作产生的等待就少了。
当然，流水线启动和收尾还得特殊处理。刚开始跑的时候没有更早的结果可消费，请求全部完成后也可能留下尚未提交的采样输出。DeepInfer用Flush机制处理这些在途结果，保证最后一批计算完成后，请求状态能正常收尾。
DeepSeek 又一开源重器！深挖 DeepInfer 究竟藏着多少技术狠活？
这套办法能拿到多少好处，要看CPU的活和GPU的计算能重叠到什么程度。一旦CPU处理耗时超出设备计算所能覆盖的区间，等待还是会出现。所以Zero-Overhead更像是一个执行调度上的追求目标。
DeepSeek 又一开源重器！深挖 DeepInfer 究竟藏着多少技术狠活？

02

DeepInfer怎样修正状态错位

CPU提前安排下一轮的时候，上一轮的采样结果可能还没定下来。普通的自回归解码一般只往前推一个Token；开了推测解码，一条请求可能连着接受好几个候选，不同序列实际推进的长度也会不一样。
比如一条请求已经缓存了1000个Token，当前这一轮可能接受3个候选。CPU准备下一轮时，这几个候选最终能通过几个还不知道。要是直接拿旧长度去组织计算，Query Length、Key Length和RoPE位置就可能对不上。
为此DeepInfer维护了total_inflight_tokens，把已经下发、但结果还没提交的Token记下来。调度器分配计算资源时，会把这部分在途计算算进序列长度与KV Cache容量检查里，并提前留出可能用到的缓存空间，免得后面GPU执行时容量不够。
DeepSeek 又一开源重器！深挖 DeepInfer 究竟藏着多少技术狠活？
容量预留做完，还得处理连续两轮Batch里请求位置对不上的问题。
请求可能结束、加入或者被抢占，同一条序列在不同Batch中的排列位置也可能变。DeepInfer就用Remap映射，把当前轮的请求对应到上一轮保存的执行状态上，新进来的请求则打上特殊标记。
GPU靠这个映射找到上一轮实际的采样结果，再通过设备侧Kernel修正Query Length、Key Length等参数，让当前轮注意力计算能访问到正确的上下文范围。碰到变长推测验证，还会根据实际接受结果更新要处理的Token数量。
DeepSeek 又一开源重器！深挖 DeepInfer 究竟藏着多少技术狠活？
CUDA Graph一般是按提前捕获的执行规格跑的，系统还得把计算图预留容量和实际有效序列长度区分开。设备侧修正状态之后，CPU与GPU之间就不用频繁传少量长度数据，动态请求也能适配固定规格的执行图。
另一处麻烦在内存生命周期。同步执行时，请求做完，CPU通常能直接释放相关元数据和缓存引用。可到了异步流水线里，某条请求虽然已经完成CPU后处理，GPU上可能还有没结束的操作在引用它的内存。
DeepInfer用DeferredRelease延迟回收SequenceMetadata、RequestOutput以及相关缓存块的固定引用。待释放的资源先排进队列，等到后续的pre_sampler_sync阶段再统一处理。
涉及GPU状态复制的资源，系统会用CUDA Event确认操作完成后再解除引用，避免缓存提前被别的请求占走。
DeepSeek 又一开源重器！深挖 DeepInfer 究竟藏着多少技术狠活？
请求抢占也得守同样的状态边界。某条序列已经离开运行集合，先前提交的计算结果返回时，就不能再按原状态去更新Token计数或缓存位置，不然可能影响重新排程后的序列。
这些处理让提前调度能跨过多个还没完成的Step，序列位置、缓存分配和资源回收之间不至于打架。
DeepSeek 又一开源重器！深挖 DeepInfer 究竟藏着多少技术狠活？

03

多卡执行如何保持步调一致

DeepSeek-V4.1-Flash的部署规模让调度更难。官方方案里，Prefill一般用EP2至EP8，Decode则用EP64至EP128的宽专家并行。专家并行规模扩大能分散MoE权重读取压力，但同一个通信域里的GPU必须采用一致的执行步型。
对同时承担Prefill和Decode的NORMAL Engine来说，如果一部分Rank进了Prefill，其他Rank还在Decode，集合通信就可能对不上。
DeepSeek 又一开源重器！深挖 DeepInfer 究竟藏着多少技术狠活？
DeepInfer在Scheduler里加了组内投票机制，用来协调不同Rank的执行模式。ALL模式要求相关Rank满足执行Prefill的条件，减少没任务的设备陪跑。
ANY模式则允许部分Rank的待处理请求触发组级Prefill，免得小规模请求长时间排队。两种模式各受自己的触发间隔控制，减少频繁切换带来的额外开销。
代码里还有个细节：等待队列里有请求，不代表这一轮就一定能排出Prefill。某个Rank可能因为KV Cache容量不够或序列槽位受限，最后没有可执行的任务。
DeepSeek 又一开源重器！深挖 DeepInfer 究竟藏着多少技术狠活？
所以DeepInfer在初步决定切换Prefill之后，还会再做一轮确认。各Rank完成实际排程，再检查组内有没有有效的Prefill。没有就返回Decode；部分Rank成功排出任务的话，其他Rank就执行空Prefill Step，维持一致的通信顺序。
开启Zero-Overhead Scheduling时，部分组内调度协调还能走CPU侧Data Parallel通信组，减少控制通信对GPU计算的干扰。
多卡同步之外，MoE的专家负载也会影响整轮执行时间。Router可能把较多Token分给少数热点专家，对应GPU的工作量就比其他设备高，哪怕CPU调度已经完成，计算还得等较慢的Rank。
DeepInfer通过Expert-Parallel Load Balancing把这类负载分散开，在GPU上保留部分冗余专家副本，再根据运行统计重新安排专家分布。官方Decode配置用1000步统计窗口，每10000步调整一次专家分配，测得的慢速Rank与平均负载之比约为1.090。
组内步型协调管的是跨设备执行的一致性，专家负载均衡则用来化解部分设备长期拖慢整轮计算的老毛病。两套机制再配上异步调度，DeepInfer 在大规模 MoE 部署里就能让 Decode 跑得比较连续。

04

推理优化开始深入执行时序

DeepInfer 的 Zero-Overhead Batch Scheduler 参考了 SGLang、NanoFlow 等已有的异步调度做法。落到工程上，它的特点主要在几处：跨轮次的状态修正、在途 Token 记账、KV Cache 生命周期管理，以及和宽专家并行的协同实现。
官方眼下还没有单独给出这套调度机制对同步方案的完整端到端加速数据。DeepInfer 的整体性能结果，其实也掺着底层 Kernel、模型并行和其他执行优化的共同作用。公开版本目前主要面向 DeepSeek-V4.1-Flash，完整线上服务要用的部分基础设施还没开放。
Coding Agent 和长链路推理任务越来越多，Decode 要执行的轮次也跟着涨。DeepInfer 给出的工程路线比较清楚：靠跨轮次执行重叠把调度空档压下去，再用状态修正和资源生命周期管理守住正确性，让更多 GPU 时间花在真正的模型计算上。
参考链接：https://github.com/deepseek-ai/DeepInfer/blob/main/README.md
本文由本站编辑组整理与排版，内容基于公开信息核实后归纳发布，与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态，力求信息准确、表述清晰；文中涉及的名称、价格与功能细节可能随官方调整而变化，请以官方最新说明为准。如发现疏漏或表述有误，欢迎通过站内渠道反馈指正。

继续浏览更多资讯

返回资讯目录
上一篇资讯 小鹏MONA L05上市：13.98万起，6款配置可选 属于 MONA 的家庭用车。 下一篇资讯 海盗船联名《ARC Raiders》一周年：SCUF手柄与磁轴键盘等新品登场 IT之家 10 月 29 日消息，CORSAIR（海盗船）当地时间今日宣布与 Embark Studios 合作，携主品牌与旗下 SCUF、Elgato 推出多款《ARC Raiders》（弧光猎人）联名硬件，庆祝这款多人在线射击游戏发售一周年。 此次联名产品阵容涵盖 SCUF 的三款手柄控制器，海盗船 CLIPPER

相关资讯

更多
DeepSeek开源DeepInfer：推理引擎如何支撑每天155万亿Token？ AI 行业观察 · 10/29 DeepSeek开源不到一周：vLLM、SGLang性能反超DeepInfer？ AI 行业观察 · 10/26 DeepSeek开源DeepInfer推理框架：缓存命中折扣97%，成本优势怎么来的 AI 行业观察 · 10/26 DeepSeek开源推理框架DeepInfer，AI算子ForgeKernel同周登顶两榜 AI 行业观察 · 10/26 DeepSeek开源DeepInfer，面壁智能AI写算子登上华为算子榜 腾讯网 · 10/27 DeepSeek V4.1-Flash-1017：单周33.6万亿Token登顶全球 网易科技 · 10/26 DeepSeek开源DeepInfer：推理框架公开，缓存成本优势几何 腾讯网 · 10/25 DeepSeek开源DeepInfer：缓存命中折扣97%，推理成本优势有多大 腾讯网 · 10/25 当DeepSeek成为一种亚文化 AI 行业观察 · 10/28 DeepSeek开源不到一周：vLLM、SGLang推理速度反超 网易科技 · 10/26

相关 AI 工具

AI 导航
DeepSeek 深度求索(DeepSeek)成立于2023年,专注研究世界领先的通用人工智能底层模型与技术。基于自研训练框架… 聊天对话 · deepseek.com DeepSeek提示库 deepseek提示词官网,r1,v3官方提示词最全合集,13个核心应用场景,30个高级指令 简介 Deep… 提示词 · deepseek.com AIGCPanel开源AI数字人系统 一站式AI数字人系统,支持视频合成、声音合成、声音克隆 数字人与口播 · aigcpanel.com DeepSeek APP DeepSeek App是DeepSeek官方推出的AI对话助手应用,可以在学习、工作和生活中为你提供专业而… 聊天对话 · apple.com 南安普敦大学开发的、世界第二的开源机构知识库平台 南安普敦大学开发的、世界第二的开源机构知识库平台 论文与学术 · eprints.org 在德国大学使用最广泛的开源知识库平台 在德国大学使用最广泛的开源知识库平台 论文与学术 · opus-repository.org SCNet DeepSeek 国家超算互联网平台官网,打造集算力、应用、数据、生态、社区等于一体的开放共享平台 聊天对话 · scnet.cn DeepSeek Japanese DeepSeek 是一款先进的 AI 语言模型,擅长逻辑推理、数学和编程任务,提供免费使用 大模型与开发平台 · deepseekai.jp

相关推荐 按相关度与热度排序

全部资讯 →

  5. 商务部AI出口管制草案：23项技术受限，DeepSeek、MiniMax为何先过关

    中国商务部10月16日发布草案，将参数≥2万亿或全球前十的大模型纳入出口受限目录，23类AI技术须申请许可。然而不到一周，DeepSeek和MiniMax便率先完成登记，依托开源豁免条款获得授权。这场管制与豁免同步上演的政策操作，揭示的不是收紧，而是一套精心设计的"分层主权"逻辑。

    来源 AI 科技快讯

  7. Deedy Das：租GPU卖DeepSeek Token，月入超100万美元？

    在AI大模型的造富神话里，如果你以为只有像OpenAI那样烧掉上百亿美元训练一个超级模型才能赚钱，那你可能错过了当下最隐秘、也最疯狂的财富密码。 近期，硅谷知名风投 Menlo Ventures 的投资人 Deedy Das 揭开了这个隐秘的角落：一批硅谷AI初创公司，正通过一种极为简单粗暴的模式，在短短几个月内实现了

    来源 AI 行业观察

  11. 特朗普再盯DeepSeek：日本62%Token流向中国模型，中美AI博弈升级

    点 击 报 名 · 抓 住 风 口 · 看 懂 趋 势本期要点：中国模型的海外机会还有多大？会怎么变？你好，我是王煜全，这里是王煜全要闻评论。当前，AI 产业有一个已经比较明确的分层：中国和美国在相互竞争，其他国家落后了一大截。因此，中美两国都在加强自己的 AI 合作网络，而双方之间却在慢慢划出比较清晰的边界。那么，随

    来源 腾讯网

  13. DeepSeek周调用33.6万亿Token登顶，Anthropic披露美股招股书

    21世纪经济报道新质生产力研究院综合报道早上好，新的一天又开始了。在过去的24小时内，科技行业发生了哪些有意思的事情？来跟21tech一起看看吧。【巨头风向标】Anthropic披露美股招股书明星AI初创公司Anthropic公开美股招股书，这有可能冲击SpaceX创下的史上最大IPO筹资纪录。公司计划以ANT的代码登

    来源 腾讯网

  14. DeepSeek、MiniMax完成开源出海登记：AI技术出口新规管什么

    中国是不是要关上AI技术出口的大门？10月16日，商务部、科技部就修订《中国禁止出口限制出口技术目录》（以下简称《目录》）公开征求意见，其中涉及23项人工智能领域技术，包括大模型、智能体、算力集群、信息处理等。据央视旗下新媒体账号“玉渊谭天”报道，该政策公布以来，DeepSeek、MiniMax两家头部企业已经顺利履行

    来源 腾讯网

  17. 百度搜索AI API降价：千次4.9元，低于DeepSeek

    【TechWeb】10 月 30 日消息，今日，百度 APP 在北京举办产品升级沟通会。百度搜索实现递归自我进化，并全新升级搜索 AI API，活动期间最低价仅需 4.9 元/千次，低于 DeepSeek 搜索 API。同时围绕搜索框、AI 镜头、GUI 可视化、AI 互动应用等方向推出重大升级，给用户带来更智能、更聪

    来源 AI 行业观察

  19. 消息称DeepSeek二轮融资1055亿元 估值已突破6155亿元

    【TechWeb】10 月 30 日消息，据The Information报道，深度求索（DeepSeek）第二轮融资的具体细节浮出水面。本轮融资规模达1055亿元人民币（约合158亿美元），吸引近30家投资者参与，对应公司估值约6155亿元。 从投资方结构看，腾讯控股与宁德时代仍是本轮融资的两大主要出资方。腾讯在两轮

    来源 AI 行业观察

  23. StartLux开源Prism推理引擎：单卡H200提速最高5.3倍

    作者 ｜ 蔡芳芳最近，两家中国 AI 公司相继开源针对自家模型优化的推理系统。10 月 20 日，DeepSeek 开源面向自家模型的推理框架 DeepInfer；随后，StartLux 也宣布开源为 StartLux-Decision 设计的专用推理引擎 StartLux-Prism。两家公司的技术路线虽然不同，但都

    来源 腾讯网

  28. 野村：中国开源权重Flash模型海外走热，推理工程能力成关键

    10月30日，野村发表研究报告指，该行近期与海外AI基建公司Together AI专家交流后，认为中国开源权重模型正凭藉更良好的成本与能力表现，在海外市场加速普及，DeepSeek 4.1 Flash等轻量级模型已成为Together AI平台上最受欢迎的模型之一，甚至超过部分开源权重旗舰模型，因其能力足以应付用户日常

    来源 腾讯网

  29. DeepSeek登顶全球第一，一场“账单碾压”的胜利

    （本文作者为 影子备忘录，钛媒体经授权发布）文 | 影子备忘录OpenRouter最新一周的数据显示。10月19日到25日，DeepSeek V4.1-Flash-1017以33.6万亿Token的周调用量登顶全球第一，环比增长801%。中国模型包揽前五，周总调用量93.54万亿Token，连续26周压过美国的22.4

    来源 腾讯网
向下滚动自动加载更多
官方 API 状态 官方状态 Kimi 降级
Fireworks AI · 轻微事件进行中（已持续 1 分钟） Mistral AI · 轻微事件进行中（已持续 4 小时 26 分钟） Runway · 提示级事件进行中（已持续 22 分钟）
更新于 4 分钟前 全部状态