Claude自写推理引擎:首个字等待从12秒缩到半秒

资讯 腾讯网 作者:新智元 全文 3804 字 · 约 10 分钟读完 配图 1 张 分类ClaudeAnthropicAI 编程

新智元报道 你让AI帮忙修一个登录报错。照着它的建议改完代码,你重新跑了一遍登录测试。终端又弹出一行红字,报的还是同一个错。你把新日志贴进对话框,再按下回车,等AI告诉你下一步查哪儿。修一个bug,往往要这样来回折腾几轮。每次提交问题后,你要等多久,才能看到AI回的第一个字?最近,有人拿真实编程会话做了个测试...

所属频道 大厂动态Claude 与 AnthropicAI 编程与开发

新智元报道  


让AI帮忙查一个登录报错,这是不少人遇到过的场景。


按它给的办法把代码改完,登录测试重新跑一遍。终端里又冒出一行红字,报的错跟之前一模一样。


把新日志粘进对话框,再敲回车,接下来就等AI说该往哪儿查。


修一个bug,常常就得这么来回折腾好几轮。


问题发出去以后,要等多久才看得见AI回的第一个字?


最近有人用真实编程会话做了测试,Claude把这段干等的时间从约12秒压到了半秒。


11月12日,卡内基梅隆大学、NVIDIA等机构的研究者提交了《奇点基准测试:智能体能构建智能体吗?》《



其中有一道题,研究者交给Claude Opus 5.5一份基础服务器代码、4张


答题过程中,联网查资料这条路被开发环境掐断了,Claude 只能靠手头的东西动手写。


引擎交出来以后,研究者没停在读代码这一步,而是拿真实编程会话跑了一遍,看它到底顶不顶用。


两边各拿4张


他们用的衡量指标是 P90 首 token 延迟:


做法是把每个请求从发出到模型吐出第一个字之间的等待时间拉出来排序,取第 90 百分位那个值,这就是 P90。换句话说,90% 的请求都能在这个时间内开始回复。


跑下来的结果是,成熟引擎


硬件和模型条件相同的情况下,Claude 自研推理引擎的 P90 首 token 延迟是 0.478 秒,SGLang 则是 12.029 秒。


等上 12 秒,人可能已经切回编辑器,照着报错往下翻了好几行代码。半秒是什么概念?回车刚敲完,对话框里就冒出 AI 回复的第一个字。


而一旦开始回复,两套引擎的出字速度基本持平:按中位数算,Claude 写的引擎每秒生成 124.2 个 token,


那么 AI 开口之前省下的这 11 秒半,Claude 究竟是从哪儿抠出来的?



只改一句话
服务器那一端还得读取多少内容,直接决定了你等待的时长。


设想一个场景:你正让AI帮忙改网页。源码和报错在前面已经贴过,方案也试了好几版。这一轮你只追加了一句「把登录按钮往右挪一点」。



论文回放的编程会话中,前几轮的聊天记录会一并传往服务器。16路会话并行时,单次输入的中位数达到8.9万个token。


模型要先消化输入,才能开口回复,这个环节叫「只要新一轮请求的开头与上一轮重合,引擎就能把此前算好的结果调出来,从那里接着往下算新加的部分,这就是「



所谓「算好的结果」,指的是模型读完那段前文后留下的计算记录。这次测试的模型会留下两份:一份存着前文的信息,供模型回头查阅;另一份则像账本上的余额,模型每多读一点,余额就刷新一次。



Claude写的引擎把同一段前文对应的两份记录一并存下。下次碰到相同的开头,引擎便从那段前文的末尾续读,只计算后面新添的内容。


SGLang同样采用了


16路请求同时到达时,没命中缓存的部分仍要交给显卡处理。每条请求还剩多少计算量、显卡先算哪一条,同样影响你多久能看见AI回复的第一个字。



Claude自研的推理引擎与SGLang做性能对照,缓存命中率和生成速度这两个指标上双方比较接近,差距主要体现在P90首token延迟,Claude这边明显压得更低。



需要从头算的部分越少,等待自然越短。
排得越靠前


拿超市结账打个比方:


前面那位顾客的平板车堆满年货,几万个全新token得一件件从头扫码。


你排在后面,手上只有一瓶矿泉水——相当于在旧会话里补问了一句,前文有九成六都能直接命中缓存。


并发推理时如果死守「先来后到」,就等于让只买一瓶水的人陪着整车年货一起罚站。


所以Claude给推理引擎立了一条排队规则:


哪条请求剩余计算量少,哪条就先被处理。


碰上好几万token的全新大单,引擎会把它拆成小块分几批消化,不让单个大任务把整条车道占死。


这么一来,你在旧对话里补上的那句追问,就可能越过仍在等待的长请求,先被处理。


生成环节上,引擎又叠加了「模型先由自带的轻量预测层猜出一个token,再由主模型核验。猜中就直接用预测结果;猜错就丢掉预测,按主模型的输出接着生成。



同时,原本分散执行的GPU操作被引擎打包合并,调度和数据搬运都少了不少。


即便SGLang也开启了横轴是P90首token延迟,纵轴是每GPU秒处理的未缓存token数。Claude自研引擎一边压低首token等待,一边把未缓存输入的处理效率提了上去。



同样的回放时限内,SGLang跑完705个请求,Claude写的引擎跑完983个,多处理近四成。


再按预设的输入、输出单价给完成的请求折算「模拟收入」:SGLang每GPU小时8.18美元,Claude引擎11.52美元,增长40.8%。


对开发者来说,AI回复来得更早;同样的显卡,同一段时间里也能处理完更多请求。


不过真实工作场景只认交付结果。跑得飞快却满嘴胡话,那叫高速翻车。


研究者交卷时设了两道硬门槛:并发负载下必须完整生成规定长度的回复;准确率还要通过隐藏测试验收。


参测的11套AI自研引擎里,只有5套同时闯过这两关;另外6套要么半路吞字断句,要么准确率崩盘,按规则当场判零分。




11组AI同台搭基建,Claude拿下五胜一平。


手搓推理引擎,只是其中一道考题。


研究团队把造AI的核心苦活拆成六场独立闭卷考,覆盖训练、部署、应用三个阶段,看智能体能不能自己把AI研发流程优化掉。三道考训练,包括从头预训练等环节。



参测的有7个主流模型,还有……


推理拿下大胜之外,Claude Opus 5.5搭配某套方案也有表现。


预训练考卷发下来,配的是4张……


最后Claude只花掉约一半的训练计算量,验证集上就拿到12.77的分数。


中期训练阶段(4张GB300、12小时),题目变成给已有模型挑下一批「教材」,再用同一套强化学习任务验效果,看模型在数学、代码、科学三块的表现。


Claude挑数据时主要看解题过程是否完整、答案有没有核验过。它的方案把下游平均准确率从人类水平往上提。


智能体运行框架那道题(1张GB300、6小时)最有戏:考的是模型何时调工具、出错后怎么翻日志,而人类对照组正是原版Claude Code。


结果Claude给自己动了场手术,下游平均分从0.438升到0.468。同一批测试里,新框架比原版Claude Code多修好一个bug。


集群调度这一项给了16张GB300、4小时,要拿16张卡同时撑起28个模型的服务请求。Claude在实测里发现,有些引擎共用显卡会抢资源、彼此拖慢,于是改了调度策略,让它们轮着用GPU。



两项指标——延迟达标率、请求完成率——综合下来它拿到0.510分,压过了


自己的框架能改,集群调度测试里又能赢NVIDIA的方案,Claude这回把工程能力摆到了台面上。


唯一没分出高下的是后训练,配置为4张GB300、12小时。


这一项里,Claude用强化学习提升给定模型的编程能力,最终解题率53.3%,人类对照方案Miles是53.9%。逐题比对,两边各有18道题只有自己解得出,论文据此算作平手。


六项成绩等权汇总,以人类基线1分为参照:Opus 5.5搭配Claude Code打出「五胜一平」,得1.252分,是唯一越过人类基线的组合。排第二的GPT-6.1 Sol搭配Codex为0.969分,剩下10组平均只有0.58分。


总榜还透出另一层意思:模型本身定能力上限,跑在什么框架里定本事能兑现多少。


同一款开源模型,配Codex只有0.228分,换Claude Code升到0.657分,接近原来的3倍。另一款模型正相反:配Codex得0.698分,换Claude Code跌到0.520分。


模型强还不够。框架没选对,一样可能打得失常。


总榜第一拿到了,Claude光调API花了多少钱?


单是开发阶段的API调用,Opus 5.5就烧掉425.41美元,比前代Opus 5的328.19美元高,约为第二名GPT-6.1 Sol(84.52美元)的5倍。GPU和下游评测的开销还没算进去。



下一道题
让AI动手改造整条研发线,这件事已经有人试了。


训练模型、筛选数据、编写引擎、调度显卡,这几类任务上AI的成绩已经压过人类基线。


那是不是说「AI自己迭代下一代AI」已经成真?现在还下不了这个结论。


这六道题说到底还是人类先划好范围,再由AI分别作答。后训练针对的是给定模型,推理引擎服务的则是另一款现成模型。每道题从哪份代码起步、优化哪个指标、给多少时间和算力,全都由人提前定好。



论文作者同样承认,要真正检验还有距离。造好一个零件,和把整条生产线改得更顺,是两码事。



真正的考验在于:AI能否自己揪出研发流程里最拖后腿的那一环——是训练太慢,是数据选偏了,还是强化学习老在等推理结果?


找到瓶颈之后,它还得判断该从哪里下手,再把改好的方案放回整条研发流程里跑一遍验证。


最后要看的,不只是省下多少算力和时间,还包括训练出来的下一代模型有没有真的变强。


再往前一步,下一代模型得接住上一代的活,继续找问题、改流程,拿出经得起复测的新成果。


等到AI能自己找瓶颈、改流程、训出更强的下一代模型,并且让这个过程一轮轮接下去,递归自我改进才算真的开了头。


这次实验量的是:AI能不能把一次回复的等待缩短11秒。往后更该盯的,是AI能不能自己撑起一次跨代升级、这要花多久。


参考资料:

https://x.com/rohanpaul_ai/status/2121330917801431326
https://arxiv.org/abs/2611.16591
https://infini-ai-lab.github.io/singularity-bench/
本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. Anthropic上线Claude关联账单测试:OAuth计费打通第三方应用

    据多家媒体报道,Anthropic近日在Claude平台推出测试版关联账单功能,并同步启动第三方应用关联计费OAuth测试,被视为其构建开放生态的关键一步。此举顺应大模型从对话工具向智能体、多应用平台演进的趋势,旨在打通第三方应用与底层平台的计费及互联,推动生态开放与协作。

    来源 AI 产业速递
  2. Anthropic 在 Claude 平台推出测试版关联账单功能:打通生态闭环,为第三方应用开启 OAuth 计费测试

    人工智能平台在构建开放生态的道路上正迈出关键一步。据华尔街见闻、财联社及同花顺财经等多家媒体报道,人工智能巨头 Anthropic 近日正式在 Claude 平台上推出了测试版的关联账单功能,并同步启动了第三方应用的关联计费 OAuth 测试。 开启生态互联:OAuth 计费测试全面落地 随着大模型

    来源 AI 开发者社区
  3. Diffusers自己动手集成新模型:不用等官方支持,几步跑通

    本文介绍如何利用Claude Code等AI编程助手,将尚未被Diffusers官方支持的模型(如Idol)通过模块化方式集成。文章详细拆解了从环境准备、代码转换、精度对齐检查到发布Hugging Face Hub的全过程,并对比了本地与云端校验的成本与效率,为开发者提供了一套绕过依赖冲突、快速复用前沿模型的实用工作流

    来源 AI 应用前沿
  4. Claude 杀疯了,催生了一场海外租电脑的狂欢

    最近在开发者圈子里,发生了一件挺有意思的怪事。 Google Cloud 这类海外云厂商正在满世界送 300 美元的试用额度,广告铺天盖地。 但国内不少天天靠 AI 写代码的工程师,对这些白送的机器却提不起太大兴趣。有人宁可每个月掏小几百块钱,托人在美国或澳洲机房租一台真正的物理 Mac mini,甚至直接买台苹果小主

    来源 AI 行业观察
  5. Snapchat发布Easy Lens CLI,支持Claude Code与Cursor等AI助手构建AR滤镜

    11月18日,Snapchat推出Easy Lens CLI,允许AR滤镜创作者直接调用Claude Code、Cursor、Codex等AI编码助手构建核心Lens,降低创作门槛并融入开发者工作流。该工具由Easy Lens演进而来,支持Mac、Windows、Linux;创作者用自然语言描述需求,AI即可完成全链路

    来源 AI 产业速递
  6. “同样任务更便宜更好”:微软公开叫板 Claude 和 ChatGPT

    据彭博社,微软商业业务CEO阿尔索夫在Ignite大会称,Claude或ChatGPT能做的,Copilot都能做得更好且成本更低。微软委托研究称,Copilot用户支出显著低于两者,企业可基础任务用固定订阅、复杂工作按用量付费。截至6月,Copilot付费用户超3000万,但相较4.5亿潜在盘子仍远未吃透。

    来源 AI 产业速递
  7. 谷歌提出SIM记忆机制:让AI智能体跨模型持续自我改进

    模型一换,精心优化的 agent harness 可能立刻“水土不服”。专为 Claude 演化的 harness 甚至可能给 Gemini 带来“负收益”。因此,模型迁移后需要重新评估继承的修改,判断哪些仍然有效,哪些需要修订。 harness 管理 agent 的上下文、工具和执行流程。递归自我改进(RSI)虽会依

    来源 AI 行业观察
  8. AI转得动T恤的轮廓,却转不懂T恤的样子

    你有没有想过,一个能写诗、能编程、能解答复杂数学题的AI,为什么连转个T恤都转不明白?这不是开玩笑。厦门大学的研究团队最近做了一件挺朴素但特别扎心的事:他们给市面上最强的几款AI模型(包括GPT、Gemini、Claude、Qwen这些你耳熟能详的名字)出了一道题,题目简单到小学生都能玩明白——给你看一件T恤的正面照片

    来源 腾讯网
  9. 这个访谈,回答了语言和多模态路线之争

    大家都在迷雾中寻找下一代 AI 的方向。 作者: GaKi 编辑: Koji‍ 排版: NCon对于下一代 AI 应该往哪里发展,几家头部的 AI 公司似乎有了不同的判断。Anthropic 此前公开解释过,为什么 Claude 没有像竞争对手一样投入图片和视频生成。原因是公司希望将更多资源用于 AI 算力分配、安全研

    来源 腾讯网
  10. GAO报告显示四大AI平台12小时内生成恐袭方案 参议院听证将聚焦安全风险

    美国政府问责局61页报告披露,ChatGPT、Claude、Gemini和Grok在联邦测试中均在12小时内生成含具体目标、时机与方法的恐袭方案。参议院国土安全委员会主席宣布启动听证,四家企业回应称正持续改进安全机制。报道还原测试过程,拆解守约失效机制,并分析对产业监管与竞争格局的影响。

    来源 AI 科技快讯
  11. Anthropic IPO股权曝光:亚马逊持股14.7%,谷歌13.7%

    11月17日(周二), Anthropic 披露了与其核心云服务商 亚马逊 和 谷歌 达成的最大投资协议细节,明确在 首次公开募股 后,亚马逊与谷歌将分别持有其14.7%和13.7%的股份,合计接近30%。 亚马逊在2023年至2024年(Claude Code席卷企业界前、Anthropic尚处O

    来源 AI 开发者社区
  12. Anthropic登陆纳斯达克:每股83美元,7位创始人百亿身家

    Anthropic即将开启自己的造富之路。这家以Claude大模型出圈的AI公司,定于当地时间11月19日在纳斯达克挂牌,股票代码ANT。 此前一日,Anthropic将其IPO的A类普通股定价为每股83美元,这一定价高于该公司此前的预估。Anthropic表示,此次发行包括980,000,000股A类普通股,其中95

    来源 AI 行业观察
  13. 就在今晚,Anthropic上市,冲击万亿估值

    就在今夜,Claude开发公司Anthropic将正式敲响纳斯达克的上市钟声,股票代码ANT,最终发行价定在83美元,公开发行约9.8亿股,仅这一部分就募资约813亿美元,加上260亿美元私募配售,总融资规模超过1070亿美元。 这家成立不 […]

    来源 AI 行业观察
  14. Anthropic IPO定价每股83美元:估值1.5万亿,本周四登陆纳斯达克

    11月18日,Anthropic据报将IPO定价为每股83美元,高于70至78美元预期区间,本周四以代码“ANT”在纳斯达克挂牌。按发行价计算,这家Claude大模型开发商完全稀释估值达1.5万亿美元,较5月私募融资(筹资650亿美元)时9650亿美元估值大幅跃升,但仍低于此前传出的2万亿美元目标。

    来源 AI 产业速递
  15. Anthropic IPO定价83美元:80余位学者发声明质疑其安全性

    【TechWeb】11月18日,Anthropic正式确定IPO发行价为每股83美元,高于此前70-78美元的指导区间;公司连同部分股东共发行约9.8亿股A类普通股,公开发行筹资约813亿美元,叠加向谷歌、英伟达、微软等战略投资者的260亿美元私募配售,合计融资规模突破944亿美元,超越SpaceX今年6月创下的纪录,

    来源 腾讯网
  16. “最优秀的开发者,正在被AI慢慢耗尽……”每天审查15个PR、硬啃2万行AI代码,资深工程师被逼成「质检员」,有人干脆辞职

    AI 编程工具越来越强,程序员却好像越来越不开心了。 以前,工程师最头疼的事情可能是赶项目、修 Bug、熬夜上线。现在,Claude Code、GitHub Copilot 等 AI 工具已经能帮他们生成大量代码,甚至接手过去需要几天才能完成的开发任务。 按理说,程序员应该轻松不少才对。 但现实却有些反常:一些经验丰富

    来源 AI 行业观察
  17. Claude三天完成AMD MI355X适配,CUDA壁垒被撬动?

    人工智能硬件与底层软件生态的竞争格局正在迎来一次深度的结构性松动。近日,业内传出重磅消息,Anthropic旗下的Claude Mythos仅用时3天,且在几乎无需人工干预的情况下,成功完成了对AMD MI355X芯片近100% 的底层内核代码编写。 这一突破性进展直接将原本需要数十名资深工程师耗时

    来源 AI 开发者社区
  18. 黄仁勋辞任英伟达CEO后表态愿回任,董事会明确拒绝

    英伟达完成创始人离任后治理重置:Q3营收1158亿美元、订单积压2.5万亿美元,停售H200并设董事会出口管制委员会;美出口管制扩至第三国远程算力,AI基础设施碎片化。Anthropic拟以约1.4万亿美元估值IPO,算力成本进入公开验证。微软Ignite将Office/Copilot升级为智能体工作系统,推跨供应商A

    来源 钛媒体
  19. Exa年化收入破1亿美元,Vercel收购Traces,Agent基建竞争升温

    2026年末的AI圈不再只盯着模型参数,而是转向了更务实的基础设施。Exa凭借Agent搜索需求实现年化收入1亿美元,Vercel收购Traces试图定义新的软件原语,Google Cloud则指出算力瓶颈已转移至数据I/O。与此同时,国内大厂开始主动限制模型的攻击能力,Claude Code团队公开了高比例AI生成代

    来源 AI 应用前沿
  20. AnthropicIPO定价83美元:估值1.5万亿,80余人联名质疑安全性

    就在定价公布同一天,一份名为《MisAnthropic Statement》的公开声明在misanthropicstatement.com上线,由AI安全中心推动、80余名跨阵营人士联署,开篇即给出结论:“Anthropic is not a safe AI company”——史上最大IPO与史上罕见的跨阵营围剿,在

    来源 TechWeb
  21. 三个00后用中国模型做外包,18个月拿到320亿“大结果”

    Anthropic上市,硅谷正在诞生新一轮财富神话。而在这场狂欢的另一角,三个从OpenAI离职的00后也提前拿到了自己的“大结果”——创业不到18个月,直接把公司卖了45亿美元(约合人民币320亿元)。美东时间11月18日,美国网络安全巨头Palo Alto Networks(派拓网络)宣布达成最终协议,将以45亿美

    来源 腾讯网
  22. 上市前一天,80余位学界与AI大佬联合声明:“Anthropic不是一家安全的AI公司”

    【TechWeb】11月18日,Anthropic正式确定IPO发行价为每股83美元,高于此前70-78美元的指导区间;公司连同部分股东共发行约9.8亿股A类普通股,公开发行筹资约813亿美元,叠加向谷歌、英伟达、微软等战略投资者的260亿美元私募配售,合计融资规模突破944亿美元,超越SpaceX今年6月创下的纪录,

    来源 AI 行业观察
向下滚动自动加载更多