DeepInfer开源一周：vLLM、SGLang性能反超了吗？

还是「源神」D老师，实在。

自家推理引擎DeepInfer开源还不到一周，社区开发者就陆续交上了作业。

一个开源项目落地，周边跟着活了起来，第一波成果已经出来了：

立志学习DeepSeek、成为DeepSeek、超越DeepSeek。（bushi）

vLLM、SGLang这类成熟推理框架最先拿到T0级升级。

按各自公布的测试配置，性能已接近DeepInfer，部分场景甚至反超。

挺不错。DeepInfer起初就是基于vLLM搭起来的，设计上也参考了SGLang的路子。

如今DeepSeek把打磨好的实现开放出来，两家又拿去吸收、继续调优。

这几个项目才算把开源玩明白了。

另外还有一批开发者个人项目受DeepInfer启发上线，方向覆盖硬件适配、推理加速、部署优化，各有各的做法。

但结果很一致：都更能打了。

DeepInfer这一开源，社区顿时热闹起来。

推理竞速进入白热化，It’s showtime～

开源社区玩转DeepInfer

先看vLLM。

这次拿出的成绩，从「追平DeepInfer」一直做到了整机架部署。

通过集成DeepSeek的开源内核，并对预填充和解码阶段做了大量优化，vLLM如今的性能曲线已能和DeepInfer持平。

相同解码配置下（131K上下文、每轮3个草稿token），vLLM用GB200测出的吞吐量在批大小8到256区间内，与DeepInfer只差6%。

预填充方面，新增token的吞吐量也涨了35.6%～43.9%。

部署规模再往上走，直接扩到NVIDIA GB300 NVL72机架。

预填充与解码拆开跑，专家并行也铺得更大，vLLM在SemiAnalysis AgentX测试里做到每卡95.4万tokens/s的吞吐，对比此前的单节点成绩是7.9倍。

同一个DeepSeek的速度，还真被他们一点一点又榨了出来。

这些提升从哪来？团队把细节几乎抠了个遍。

拿处理输入来说，稀疏注意力得从一堆候选里挑出该关注的部分，这一步就是top-k选择。

以前的做法是先把DeepGEMM输出的BF16分数转成FP32，然后再筛。

新实现改成让DeepSelect直接吃BF16数据，中间那道转换被砍掉。

少跑一道计算，听着像小修小补，可对应算子测试里，这部分top-k处理的速度约为原来的3.7倍。

vLLM团队还自己动手改了一套CPU通信方式，用递归倍增等办法交换信息，把同步需要的轮次压下来。

针对Agent常用的小批量解码，vLLM也单独支持DSpark草稿生成，并用完整CUDA Graph跑专用解码路径。

SGLang随后给出的成绩走得更远，输入和输出两个阶段都被它包了进去。

预填充方面，SGLang分别在4张B300和4张GB300上测试，最高吞吐比DeepInfer高出约4%。

解码测试同样用64张GB300。

每卡256个请求时，DeepInfer每步要31.19毫秒，SGLang是28.88毫秒，单步时间缩短约7.4%；到每卡8个请求，两边基本打平。

具体做法上，SGLang先把Mega内核（MegaMoE、MegaAttention、Mega-mHC、MegaGate）、SWA有界重放以及Engram优化一并集成进来。

性能追平DeepInfer之后，它继续迭代，加入更多内核融合方案。

接着支持可拆分CUDA图，把预填充做得更高效。

最后跟DeepInfer的开源版本比，SGLang更完整，还补上了几样关键服务组件：KV缓存系统、预填充/解码分离架构和负载均衡模块。

SGLang为了对比得更严谨，还在GB300和B300上把DeepInfer重新跑了一遍。

这一跑才发现，DeepInfer部分配置的吞吐比原先公布的成绩还高。

原来D老师真是老实人，测试成绩给得相当实在。

推理加速循环

开发者Eric Zhang又把这个玩法往前推了一步。

在此之前，Eric Zhang一直在做一套实验性积木库Resin，用途是搭建大模型推理引擎。

它的思路是把多个模型共用的部分抽出来做成公共底座，调度器、KV缓存管理都在其中。特定模型、特定硬件所需的计算实现，则由用户自己补齐，拼起来就是一个独立引擎。

Eric自己说，最近一周他受到DeepInfer的启发，把不少功能和并行机制都跑通了。

测试结果显示，在DeepSeek-V4.1-Flash上，Resin的性能跟DeepInfer差了大约5%～10%，同时HTTP服务、前缀缓存和指标这些能力也都具备。

随后他又给这套底座配了一个Skill。

任务就是让AI学会怎么基于Resin实现模型，然后把Codex放上去连夜跑。

按他的说法，Agent做出了支持MTP的GLM-5.3-Flash引擎；B200、EP4配置下，输入吞吐最高6万tokens/s，输出吞吐最高1.6万tokens/s。

另外，Resin照样是开源的。

泪目了，大肥鱼，这开源盛世如你所愿。

DeepInfer从开源中来，又回到开源里去。成熟框架继续做集成和优化，个人开发者也能从中吸收设计，把开源接力下去。

So，大肥鱼才是真正领悟了可持续开源的真谛～