Claude自写推理引擎:首个字等待从12秒缩到半秒
新智元报道 你让AI帮忙修一个登录报错。照着它的建议改完代码,你重新跑了一遍登录测试。终端又弹出一行红字,报的还是同一个错。你把新日志贴进对话框,再按下回车,等AI告诉你下一步查哪儿。修一个bug,往往要这样来回折腾几轮。每次提交问题后,你要等多久,才能看到AI回的第一个字?最近,有人拿真实编程会话做了个测试...
新智元报道
新智元报道
让AI帮忙查一个登录报错,这是不少人遇到过的场景。
按它给的办法把代码改完,登录测试重新跑一遍。终端里又冒出一行红字,报的错跟之前一模一样。
把新日志粘进对话框,再敲回车,接下来就等AI说该往哪儿查。
修一个bug,常常就得这么来回折腾好几轮。
问题发出去以后,要等多久才看得见AI回的第一个字?
最近有人用真实编程会话做了测试,
Claude把这段干等的时间从约12秒压到了半秒。
11月12日,卡内基梅隆大学、NVIDIA等机构的研究者提交了《奇点基准测试:智能体能构建智能体吗?》《
其中有一道题,研究者交给Claude Opus 5.5一份基础服务器代码、4张
答题过程中,联网查资料这条路被开发环境掐断了,Claude 只能靠手头的东西动手写。
引擎交出来以后,研究者没停在读代码这一步,而是拿真实编程会话跑了一遍,看它到底顶不顶用。
两边各拿4张
他们用的衡量指标是 P90 首 token 延迟:
做法是把每个请求从发出到模型吐出第一个字之间的等待时间拉出来排序,取第 90 百分位那个值,这就是 P90。换句话说,90% 的请求都能在这个时间内开始回复。
跑下来的结果是,成熟引擎
硬件和模型条件相同的情况下,Claude 自研推理引擎的 P90 首 token 延迟是 0.478 秒,SGLang 则是 12.029 秒。
等上 12 秒,人可能已经切回编辑器,照着报错往下翻了好几行代码。半秒是什么概念?回车刚敲完,对话框里就冒出 AI 回复的第一个字。
而一旦开始回复,两套引擎的出字速度基本持平:按中位数算,Claude 写的引擎每秒生成 124.2 个 token,
那么 AI 开口之前省下的这 11 秒半,Claude 究竟是从哪儿抠出来的?
设想一个场景:你正让AI帮忙改网页。源码和报错在前面已经贴过,方案也试了好几版。这一轮你只追加了一句「把登录按钮往右挪一点」。
论文回放的编程会话中,前几轮的聊天记录会一并传往服务器。16路会话并行时,单次输入的中位数达到8.9万个token。
模型要先消化输入,才能开口回复,这个环节叫「只要新一轮请求的开头与上一轮重合,引擎就能把此前算好的结果调出来,从那里接着往下算新加的部分,这就是「
所谓「算好的结果」,指的是模型读完那段前文后留下的计算记录。这次测试的模型会留下两份:一份存着前文的信息,供模型回头查阅;另一份则像账本上的余额,模型每多读一点,余额就刷新一次。
Claude写的引擎把同一段前文对应的两份记录一并存下。下次碰到相同的开头,引擎便从那段前文的末尾续读,只计算后面新添的内容。
SGLang同样采用了
16路请求同时到达时,没命中缓存的部分仍要交给显卡处理。每条请求还剩多少计算量、显卡先算哪一条,同样影响你多久能看见AI回复的第一个字。
Claude自研的推理引擎与SGLang做性能对照,缓存命中率和生成速度这两个指标上双方比较接近,差距主要体现在P90首token延迟,Claude这边明显压得更低。
拿超市结账打个比方:
前面那位顾客的平板车堆满年货,几万个全新token得一件件从头扫码。
你排在后面,手上只有一瓶矿泉水——相当于在旧会话里补问了一句,前文有九成六都能直接命中缓存。
并发推理时如果死守「先来后到」,就等于让只买一瓶水的人陪着整车年货一起罚站。
所以Claude给推理引擎立了一条排队规则:
哪条请求剩余计算量少,哪条就先被处理。
碰上好几万token的全新大单,引擎会把它拆成小块分几批消化,不让单个大任务把整条车道占死。
这么一来,你在旧对话里补上的那句追问,就可能越过仍在等待的长请求,先被处理。
生成环节上,引擎又叠加了「模型先由自带的轻量预测层猜出一个token,再由主模型核验。猜中就直接用预测结果;猜错就丢掉预测,按主模型的输出接着生成。
同时,原本分散执行的GPU操作被引擎打包合并,调度和数据搬运都少了不少。
即便SGLang也开启了横轴是P90首token延迟,纵轴是每GPU秒处理的未缓存token数。Claude自研引擎一边压低首token等待,一边把未缓存输入的处理效率提了上去。
同样的回放时限内,SGLang跑完705个请求,Claude写的引擎跑完983个,多处理近四成。
再按预设的输入、输出单价给完成的请求折算「模拟收入」:SGLang每GPU小时8.18美元,Claude引擎11.52美元,增长40.8%。
对开发者来说,AI回复来得更早;同样的显卡,同一段时间里也能处理完更多请求。
不过真实工作场景只认交付结果。跑得飞快却满嘴胡话,那叫高速翻车。
研究者交卷时设了两道硬门槛:并发负载下必须完整生成规定长度的回复;准确率还要通过隐藏测试验收。
参测的11套AI自研引擎里,只有5套同时闯过这两关;另外6套要么半路吞字断句,要么准确率崩盘,按规则当场判零分。
手搓推理引擎,只是其中一道考题。
研究团队把造AI的核心苦活拆成六场独立闭卷考,覆盖训练、部署、应用三个阶段,看智能体能不能自己把AI研发流程优化掉。三道考训练,包括从头预训练等环节。
参测的有7个主流模型,还有……
推理拿下大胜之外,Claude Opus 5.5搭配某套方案也有表现。
预训练考卷发下来,配的是4张……
最后Claude只花掉约一半的训练计算量,验证集上就拿到12.77的分数。
中期训练阶段(4张GB300、12小时),题目变成给已有模型挑下一批「教材」,再用同一套强化学习任务验效果,看模型在数学、代码、科学三块的表现。
Claude挑数据时主要看解题过程是否完整、答案有没有核验过。它的方案把下游平均准确率从人类水平往上提。
智能体运行框架那道题(1张GB300、6小时)最有戏:考的是模型何时调工具、出错后怎么翻日志,而人类对照组正是原版Claude Code。
结果Claude给自己动了场手术,下游平均分从0.438升到0.468。同一批测试里,新框架比原版Claude Code多修好一个bug。
集群调度这一项给了16张GB300、4小时,要拿16张卡同时撑起28个模型的服务请求。Claude在实测里发现,有些引擎共用显卡会抢资源、彼此拖慢,于是改了调度策略,让它们轮着用GPU。
两项指标——延迟达标率、请求完成率——综合下来它拿到0.510分,压过了
自己的框架能改,集群调度测试里又能赢NVIDIA的方案,Claude这回把工程能力摆到了台面上。
唯一没分出高下的是后训练,配置为4张GB300、12小时。
这一项里,Claude用强化学习提升给定模型的编程能力,最终解题率53.3%,人类对照方案Miles是53.9%。逐题比对,两边各有18道题只有自己解得出,论文据此算作平手。
六项成绩等权汇总,以人类基线1分为参照:Opus 5.5搭配Claude Code打出「五胜一平」,得1.252分,是唯一越过人类基线的组合。排第二的GPT-6.1 Sol搭配Codex为0.969分,剩下10组平均只有0.58分。
总榜还透出另一层意思:模型本身定能力上限,跑在什么框架里定本事能兑现多少。
同一款开源模型,配Codex只有0.228分,换Claude Code升到0.657分,接近原来的3倍。另一款模型正相反:配Codex得0.698分,换Claude Code跌到0.520分。
模型强还不够。框架没选对,一样可能打得失常。
总榜第一拿到了,Claude光调API花了多少钱?
单是开发阶段的API调用,Opus 5.5就烧掉425.41美元,比前代Opus 5的328.19美元高,约为第二名GPT-6.1 Sol(84.52美元)的5倍。GPU和下游评测的开销还没算进去。
训练模型、筛选数据、编写引擎、调度显卡,这几类任务上AI的成绩已经压过人类基线。
那是不是说「AI自己迭代下一代AI」已经成真?现在还下不了这个结论。
这六道题说到底还是人类先划好范围,再由AI分别作答。后训练针对的是给定模型,推理引擎服务的则是另一款现成模型。每道题从哪份代码起步、优化哪个指标、给多少时间和算力,全都由人提前定好。
论文作者同样承认,要真正检验还有距离。造好一个零件,和把整条生产线改得更顺,是两码事。
真正的考验在于:AI能否自己揪出研发流程里最拖后腿的那一环——是训练太慢,是数据选偏了,还是强化学习老在等推理结果?
找到瓶颈之后,它还得判断该从哪里下手,再把改好的方案放回整条研发流程里跑一遍验证。
最后要看的,不只是省下多少算力和时间,还包括训练出来的下一代模型有没有真的变强。
再往前一步,下一代模型得接住上一代的活,继续找问题、改流程,拿出经得起复测的新成果。
等到AI能自己找瓶颈、改流程、训出更强的下一代模型,并且让这个过程一轮轮接下去,递归自我改进才算真的开了头。
这次实验量的是:AI能不能把一次回复的等待缩短11秒。往后更该盯的,是AI能不能自己撑起一次跨代升级、这要花多久。
参考资料: