英伟达用1.2万行CuTe DSL Megakernel，如何优化Kimi K3？

（本文作者为 斯凯有话说，钛媒体经授权发布）

vLLM官方博客在2026年10月16日发了一篇技术复盘，题目挺硬核，叫《Hyper Optimizing Kimi K3 in vLLM: Moving Fast and Responsibly》。

署名的是英伟达CentML工程师Benjamin Chislett。他干的事说简单也简单：拿1.2万行CuTe DSL写的Megakernel，把月之暗面那个2.8万亿参数的Kimi K3推理速度往上狠狠推了一把。据SemiAnalysis测算，同样跑在GB300 NVL72硬件上，K3做到423 tok/s/user，性能是原来的1.68倍。vLLM博客自己报的数字是：batch 1下超过840 tokens/s，多个测试配置里解码吞吐涨了1.5—2倍。

卡没换。制程没升级。下一代芯片也没等。

可这件事真正值得琢磨的地方，并不在那1.68倍。

是博客里的一句话。中文报道大多把它漏了：

“Agent-optimized inference code is outpacing our review and maintenance workflow.”

意思就是，智能体优化的推理代码，跑得比人类团队的审查和维护还快。

说白点：AI写出来的代码，人已经来不及审了。

一个工程师、1.2万行代码、AI辅助开发

先看技术上到底动了什么。

Kimi K3不是一般的模型。Stable LatentMoE架构里塞了896个专家，每次推理只激活16个。这种极度稀疏的MoE在训练那边是把好手，用更少的激活参数撑起更大的容量；到了推理这边，就成了工程上的噩梦。SemiAnalysis的分析说，K3一次前向计算的HBM带宽需求大约1.5TB，每次前向要触发120多次All-to-All通信。解码阶段是典型的内存带宽受限场景，计算单元大半时间都在等数据搬过来。

老式推理引擎解码时，是一串独立内核挨个跑：注意力一个、MoE路由一个、专家计算一个、通信一个。每个内核启动都要花钱，内核之间每次换数据都得走显存读写。

Megakernel的思路是算子融合——把散着的解码内核捏成一个高度融合的超级内核。启动开销少了，内存访问合并了，计算和通信也能尽量叠着跑。

1.2万行代码值钱在哪？它把“通用硬件跑通用模型”的默认效率，换成了“专用硬件跑专用模型”的极致效率。硬件还是那套硬件，模型还是那个模型，变的是数据在硬件上怎么走。

写这1.2万行的过程本身也是个信号。vLLM博客写得很直白：“Coding agents can now help with some of the hardest parts of model optimization: writing complex GPU kernels, performing cross-operator fusions, overlapping computation with communication, and tuning execution across different batch sizes and GPU configurations.”团队“使用了智能体辅助开发来构建统一的CuTe DSL解码路径”。

当然，这不是说“AI把全部代码独立写完了”。人类工程师Benjamin Chislett仍然是项目主导者和架构设计者。但在最难啃的部分——复杂GPU内核编写、跨算子融合、通信重叠、不同批次和GPU配置下的调优——AI扛了相当大的工作量，大到人类逐行审查跟不上了。

“来不及审”意味着什么

博客里还有个细节，中文报道基本没提。

面对这个局面，vLLM团队发了一个fast-track model optimization RFC。它的核心思路不是“让人审得更快”，而是把性能工作的组织方式改掉。博客原文列了四条原则：Isolate changes（隔离变更）、Bound the scope（限定范围）、Validate correctness systematically（系统化验证正确性）、Scale validation（扩大验证）。

更要紧的是这句：“Human reviewers still judge the design and the evidence, but they can start from a high-level abstraction, instead of a line-by-line code review.”

人类审查者照样判断设计和证据，只不过他们可以从高层抽象入手，不必再逐行看代码。

换个说法：人从“写代码的”变成了“定验证框架和风险边界的人”。

AI写代码，人类管流程。这不是什么未来景象，2026年10月16日vLLM博客里写的就是眼下。

要看懂这件事的分量，得先把镜头拉远一点。

你此前写过的“AI攻击联合国网站”“AI研究员辞职警告”“AI差点引发中美冲突”，讲的都是AI当“行为主体”——它干了人没让它干的事。这回不同：AI变成了“优化的主体”，替人写代码，让另一个AI模型跑得更快。

两者的区别在于，前一种情形里人得“管住”AI，后一种情形里人得“跟上”AI。管住，说的是控制边界；跟上，说的是能力速度。

AI生成代码的速度一旦超过人审查代码的速度，“人类在回路中”这条原则就会撞上一个很具体的难题：回路里坐着的人，还认得出回路里跑的东西吗？

解码优化为何比训练优化更难

这1.2万行代码为什么值钱？先得搞清楚K3的推理难在哪。

训练受限于算力峰值——手里有多少FLOPs，就能跑多少计算。解码受限于内存带宽——计算单元大半时间都在等数据搬过来。K3的896个专家分散在多张芯片上，每处理一个token，路由系统都得把数据发到被选中专家所在的芯片，再收回来。超过120次All-to-All通信，每一次都意味着延迟。

所以在这样的场景里，“换更快的芯片”未必是最划算的解法。卡住的地方不是算力峰值，是数据流动的效率。Megakernel做算子融合，说到底就是让数据少在显存和计算单元之间来回搬几趟。

这个技术判断放到产业里看，含义是：制程红利慢下来了，单卡峰值性能要追上来得按年算，那“让现有硬件跑出更高的有效算力”就成了一条回报更高的路。

编译器栈正变成算力竞争的新前线

SemiAnalysis创始人迪伦在接受红杉专访时给出过一个判断：“性能提升绝不能单靠硬件堆砌。模型架构、软件栈（编译器与通信库）与底层硬件的深度协同优化，才是实现百倍效率飞跃的真正突破口。”

要理解英伟达这1.2万行代码的分量，这句话比任何一个单项性能数字都管用。

先进制程芯片拿货受限，单卡性能的差距短期内很难填平。可系统效率、编译器优化、算子融合、通信重叠这些，拼的是纯软件层面的工程能力，不看晶圆厂，看工程师和工具链。英伟达派出一个工程师，写下1.2万行代码，借助AI辅助开发，硬件没换就拿到了明显的效率提升。这件事本身就在说明：算力竞赛的维度正在分开。一条线是“造出更强的芯片”，另一条线是“让现有的芯片多干活”。后一条线对追赶者来说门槛更低，空间也更大。

IT之家的报道里提到，英伟达“还在为vLLM开发DeepSeek V4.1等其他模型的优化”。也就是说，Kimi K3这一单并非一次性的炫技，一套可复用的方法论正往更多中国模型上铺开。

英伟达正在帮中国模型“榨干”自家卖的硬件

这里头有一层微妙的关系，值得点一句。

英伟达优化的对象是月之暗面的Kimi K3，手上还在优化DeepSeek V4.1。芯片管制的大前提下，英伟达的软件团队正帮着中国模型把它自己卖出去的硬件“榨干”。

卖铲子的人，反过来帮你磨铲子。软件优化能带动硬件销售，这是一方面；英伟达也需要证明，即便在管制框架之下，它仍然是中国AI产业绕不开的一环。这层关系里，竞争和合作是并存的。

写在最后

再回到那句“来不及审”。

这件事真正的分量，不在英伟达优化了Kimi，不在1.68倍，也不在“编译器栈成为新前线”。

它抛出了一个人类必须回答、眼下却还没有答案的问题：AI开始优化AI，而且优化的速度超过人理解的速度，这时候人还守不守得住“最终判断权”这条底线？

vLLM团队给出的答案是“改变组织方式”——不逐行去审，改为设计验证框架、圈定变更范围、做系统化测试。博客里还披露了一个细节：审计发现编译器把激活读取挪到了同步等待之前，修法是把这种加载类型限制为静态权重。这类错误能通过简单的功能测试，得针对性调查才抓得出来。这个答案很务实，但它实际上是在说：我们认了“看不懂每一行代码”这个现实，然后用流程来兜底。

这大概就是AI时代“人在回路中”的新形态。人不必看懂一切，但要定义边界、设计验证、承担后果。

技术可以加速，判断不能外包。放到“AI写代码优化AI”这个场景里，这句话有了新含义：判断未必看得懂代码，但必须看得住风险。

vLLM那篇博客的标题里带了个“Responsibly”。眼下AI生成代码的速度已经压过人类审查的速度，这个词的分量，其实远不止1.68倍那么轻。

AI动手优化AI、代码迭代快得让人审不过来，算力这盘竞争也从“比硬件”转到了“比软件栈、比人机怎么配合”。说到底，不是人类淘汰AI，而是跟不上AI迭代节奏的那批人，会被行业甩下。

那么问题来了：AI写代码比人审得还快，“人在回路中”这套还守得住吗？人类要是放弃逐行看代码、改由框架兜底，最终控制权真能攥在手里？关注我，评论区说说你的看法。

本文内容依据vLLM官方博客、SemiAnalysis及公开行业报道整理，性能数据和技术细节以原始信源为准。文中的分析、推论和观点只代表个人产业观察，不构成投资建议、商业决策或政策解读依据。

行业技术迭代很快，信息难免滞后或有偏差；读者据此做商业、投资方面的判断，风险需自行承担。