Claude自写推理引擎,等AI回第一个字,12秒砍到半秒

资讯 36氪 全文 4468 字 · 约 12 分钟读完 配图 7 张 分类ClaudeAnthropic

Claude自写推理引擎!等AI回第一个字,12秒砍到半秒

所属频道 大厂动态Claude 与 Anthropic

你让AI帮忙修一个登录报错。

照着它的建议改完代码,你重新跑了一遍登录测试。终端又弹出一行红字,报的还是同一个错。

你把新日志贴进对话框,再按下回车,等AI告诉你下一步查哪儿。

修一个bug,往往要这样来回折腾几轮。

每次提交问题后,你要等多久,才能看到AI回的第一个字?

最近,有人拿真实编程会话做了个测试,Claude直接把这段干等的时间从约12秒缩短到了半秒。

11月12日,卡内基梅隆大学、NVIDIA等机构的研究者提交了《奇点基准测试:智能体能构建智能体吗?》《Singularity-Bench: Can Agents Build Agents?》预印本。

Claude自写推理引擎,等AI回第一个字,12秒砍到半秒(配图 1)

其中一道题,研究者给了Claude Opus 5.5一份基础服务器代码、4张GB300显卡和12小时。

做题时,开发环境限制了上网查资料。Claude要用Claude Code写一套推理引擎,负责接收用户请求、调度显卡运行模型,再把生成的回复发回去。

引擎写完后,研究者没有只看代码,而是直接用真实编程会话检验它的表现。

他们让两套引擎分别用4张GB300运行同一个模型,回放同一批16路并发的真实编程会话。

衡量的指标叫P90首token延迟:

把所有请求从发出到模型开始回复的等待时间排个序,排在第90百分位的时间,就是P90。换句话说,90%的请求都能在这个时间内开始回复。

结果,成熟引擎SGLang(v0.5.20)用了约12秒,Claude写的引擎只用了0.48秒。

Claude自写推理引擎,等AI回第一个字,12秒砍到半秒(配图 2)

相同硬件和模型条件下,Claude自研推理引擎的P90首token延迟为0.478秒,SGLang为12.029秒。

等12秒,你可能已经切回编辑器,顺着报错翻了几行代码。半秒呢?你刚敲完回车,对话框里就能看到AI回复的第一个字。

一旦开始回复,两套引擎的生成速度几乎一样:按中位数算,Claude写的引擎每秒生成124.2个token,SGLang是125.0个。

那AI开口前的这11秒半,Claude到底是怎么省下来的?

只改一句话

服务器还要读多少

假设你正用AI改网页。

前面贴过源码和报错,也试过好几版方案。这一轮,你只补了一句「把登录按钮往右挪一点」。

在论文回放的编程会话里,前几轮的聊天记录也会一起送到服务器。16路会话同时跑,单次输入的中位数是8.9万个token。

模型得先处理输入,才能开始回复:这一步叫「预填充」。

如果新一轮请求的开头和上一轮一样,引擎可以调出之前算好的结果,接着处理新添的内容,这就是「前缀缓存」。

这里的「算好的结果」,就是模型读完那段前文时留下的计算记录。这次测试用的模型会留下两份。

一份保留前文的信息,方便模型回头查;另一份像账本上的余额,模型每多读一点,余额就更新一次。

Claude写的引擎会把同一段前文对应的两份记录一起存下来。下次遇到相同的开头,引擎就能从那段前文的末尾接着读,只算后面新添的内容。

SGLang也用了前缀缓存,两套引擎的缓存命中率都在96%左右。

16路请求同时过来时,没命中缓存的内容还要交给显卡处理。

每条请求剩下的计算量有多少,显卡先处理哪一条,也关系到你多久能看到AI回复的第一个字。

Claude自写推理引擎,等AI回第一个字,12秒砍到半秒(配图 3)

Claude自研推理引擎与SGLang的性能对比。两者缓存命中率和生成速度接近,但Claude引擎的P90首token延迟明显更低。

剩下的活儿越少

排得越靠前

想象一下超市结账的场景:

排在你前头的顾客推着满满一平板车年货,几万个全新token等着从头扫码。

而你站在后面,手里只攥着一瓶矿泉水——也就是在老会话里追问了一句话,九成六的前文都有现成缓存。

在并发推理局里死守「先来后到」,等于让买一瓶水的人替整车年货罚站。

因此,Claude给推理引擎定下了一条排队规矩:

谁剩下的计算量少,就先处理谁。

遇到好几万token的全新大单,引擎还会把它切成小块分批消化,绝不让一个大任务把整条车道堵死。

这样一来,你在旧对话里补的那句追问,就有机会绕过长请求的等待,优先得到处理。

生成阶段,引擎还叠加了「投机解码」:

模型自带的轻量预测层先猜一个token,主模型随后核验。猜对了,就直接采用预测结果;猜错了,就丢弃预测,按主模型的结果继续生成。

与此同时,引擎还把原本零散执行的GPU操作打包合并,减少不必要的调度和数据搬运。

即便SGLang也启用了前缀缓存和投机解码,Claude写的引擎在输入处理和请求调度上仍然占优:平均到每张GPU每秒,它能多处理19%的未缓存token。

Claude自写推理引擎,等AI回第一个字,12秒砍到半秒(配图 4)

横轴为P90首token延迟,纵轴为每GPU秒处理的未缓存token数。Claude自研引擎在降低首token等待时间的同时,也提高了未缓存输入的处理效率。

在相同的回放时限内,SGLang完成了705个请求,Claude写的引擎则完成了983个,多处理了近四成。

再按预设的输入、输出单价给完成的请求折算「模拟收入」,Claude引擎每GPU小时的产出从SGLang的8.18美元提高到11.52美元,增长40.8%。

开发者能更早看到AI回复,同样的显卡也能在同一段时间里处理完更多请求。

当然,真实工作场景中向来只认交付结果:跑得飞快却满嘴胡话,那叫高速翻车。

研究者在交卷时设了两道硬门槛:一是在并发负载下,必须完整生成规定长度的回复;二是通过隐藏测试的准确率验收。

参测的11套AI自研引擎里,最终只有5套同时闯过这两关;另外6套要么半路吞字断句,要么准确率崩盘,按规则当场判了零分。

Claude自写推理引擎,等AI回第一个字,12秒砍到半秒(配图 5)

11组AI搭基建

Claude五胜一平

手搓推理引擎,只是Singularity-Bench六道考题中的一道。

研究团队把造AI的核心苦活拆成了六场独立闭卷考:三道考训练(从头预训练、中期训练挑数据、后训练强化学习写代码),另外三道考基建(推理引擎、智能体运行框架、显卡集群调度)。

Claude自写推理引擎,等AI回第一个字,12秒砍到半秒(配图 6)

研究团队将AI研发划分为训练、部署和应用三个阶段,设置六项任务,测试智能体能否独立优化AI研发流程。

由7个主流模型与Claude Code、Codex两套运行框架组合出的11支AI队伍,全程断网领起始代码、按倒计时交卷,在完全相同的硬件上单挑人类打磨多年的成熟方案。

除了推理大胜,Claude Opus 5.5搭配Claude Code还在另外四道题上赢过了人类基线。

拿到预训练考卷(4张GB300、12小时),Claude没有急着开训,而是先花44分钟测试显卡性能,再根据测试结果确定模型规模。直到第44分钟,它才启动训练。

最终,Claude只用了约一半的训练计算量,就在验证集上取得12.77的困惑度,优于人类基线(OLMo 2 1B搭配Megatron-LM)的14.22。

到了中期训练(4张GB300、12小时),考题换成了给已有模型挑选下一批「教材」,再用同一套强化学习任务检验训练效果,考察模型在数学、代码和科学领域的表现。

Claude主要挑选解题过程完整、答案经过核验的数据。最终,它的方案将下游平均准确率从人类PRISM配方的17.5%提高到31.9%,接近翻倍。

智能体运行框架(1张GB300、6小时)最具戏剧性:这道题考的是模型什么时候调用工具、出错后怎么查看日志,而人类对照组恰恰是原版Claude Code。

结果,Claude自己给自己动了场手术,把下游平均分从0.438提高到0.468。在同一批测试中,新框架比原版Claude Code多修好了一个bug。

集群调度(16张GB300、4小时)则要用16张卡同时伺候28个模型的服务请求。

Claude实测发现,部分引擎共用显卡时会争抢资源、互相拖慢,于是调整调度策略,让它们轮流使用GPU。

最终,它在延迟达标率和请求完成率两项指标上综合拿下0.510分,超过NVIDIA Dynamo搭配KAI Scheduler的0.460分。

连自己的框架都能改,还能在集群调度测试中超过NVIDIA的方案,Claude这次把工程能力秀出来了。

唯一没分出胜负的是后训练(4张GB300、12小时)。

Claude通过强化学习提升给定模型的编程能力,最终解题率为53.3%,人类对照方案Miles为53.9%。逐题比较,双方各有18道题只有自己解出,论文据此判为平手。

六项成绩等权汇总,以人类基线1分为参照,Opus 5.5搭配Claude Code以「五胜一平」拿下1.252分,成为唯一超过人类基线的组合。第二名GPT-6.1 Sol搭配Codex得0.969分,其余10组平均只有0.58分。

总榜还揭示了另一点:模型大脑决定能力上限,运行框架决定本事能发挥多少。

同一款开源模型,搭配Codex得0.228分,换成Claude Code涨到0.657分,接近原来的3倍。另一款模型却恰好相反,搭配Codex得0.698分,换成Claude Code反而跌至0.520分。

这说明模型够强还不够,框架没选对,照样可能发挥失常。

拿下总榜第一,Claude光调用API花了多少钱?

仅开发阶段的API调用,Opus 5.5就花了425.41美元,高于前代Opus 5的328.19美元,约是第二名GPT-6.1 Sol(84.52美元)的5倍。GPU和下游评测开销另计。

下一道题

让AI自己改进整体研发线

训模型、挑数据、写引擎、管显卡,AI已经在多项任务上超过人类基线。

这是否意味着「AI自己迭代下一代AI」已经实现了?还不能这么说。

这六道题本质上还是人类划好范围、AI分别作答。

后训练优化的是给定模型,推理引擎服务的是另一款现成模型。每道题从什么代码起步、优化什么指标、给多少时间和算力,都由人类提前设定。

论文作者也承认,要真正检验递归自我改进(RSI),还需要更多时间和算力。

造好一个零件和自己改进整条生产线,完全是两回事。

真正的考验是,AI能不能自己找出研发流程中最拖后腿的环节,比如训练太慢、数据选得不对,还是强化学习总在等待推理结果?

找到瓶颈后,它还得决定从哪里下手,再把改进放回整条研发流程中验证。

最终,不仅要看省下了多少算力和时间,还要看训练出来的下一代模型是不是真的变强了。

更进一步,下一代模型还要能接过上一代的工作,继续发现问题、改进流程,交出经得起复测的新成果。

当AI能自己找瓶颈、改流程、训练出更强的下一代模型,并让这一过程不断延续,递归自我改进才算真正开始。

今天,这项研究测的是AI能否让一次回复少等11秒;未来真正值得关注的,是AI能否独立完成一次跨代升级,以及这需要多长时间。

参考资料:

https://x.com/rohanpaul_ai/status/2121330917801431326

https://arxiv.org/abs/2611.16591

https://infini-ai-lab.github.io/singularity-bench/

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. Snapchat Easy Lens CLI上线:AI助手可建AR滤镜

    11月18日(周三), Snapchat 宣布推出 Easy Lens CLI ,允许AR滤镜创作者直接调用 Claude Code 、Cursor和Codex等AI编码助手构建核心特效Lens,旨在降低AR内容创作门槛并将平台融入开发者现有工作流。 该工具基于网页与移动端单提示词生成滤镜的 Eas

    来源 AI 开发者社区
  2. Anthropic登陆纳斯达克首日破发,Claude同日性能降级

    Anthropic 于当地时间 2026 年 11 月 19 日正式在纳斯达克挂牌上市。其发行价为 83 美元,实际开盘价为 111.50 美元,较发行价高约 34.3%。 “还没开始交易,暗盘的人已经先赚走两成了。”有网友感慨道。但在开盘后,股价一度快速冲高,随后有所回落。盘中最高触及 115.1 美元,最低一度跌破

    来源 AI 行业观察
  3. 谷歌提出SIM记忆机制:让AI智能体跨模型持续自我改进

    模型一换,精心优化的 agent harness 可能立刻“水土不服”。专为 Claude 演化的 harness 甚至可能给 Gemini 带来“负收益”。因此,模型迁移后需要重新评估继承的修改,判断哪些仍然有效,哪些需要修订。 harness 管理 agent 的上下文、工具和执行流程。递归自我改进(RSI)虽会依

    来源 AI 行业观察
  4. Snapchat Lens创作接入Claude Code:说句话就能生成AR镜头?

    Snapchat宣布,Lens创作者现在可以用Claude Code、Cursor等AI编程助手来开发AR镜头——只需用自然语言描述想要的效果,AI助手便从头到尾完成搭建。这既是AR创作门槛的又一次下探,也标志着AI编程代理正从IDE走向平台级创作工具。本文梳理其机制、行业背景与潜在隐忧。

    来源 AI 科技快讯
  5. Claude Fable 5.2攻克黑洞物理:20年计算收尾,界值锁定9.1266

    2026年11月17日,Anthropic公布Claude Fable 5.2解决了黑洞物理领域两个长期未解问题:一是完成了理论物理学家2003年搭好框架却未能算完的霍金-佩奇相变计算,二是将模块化自举方法的精确上界锁定为c/9.1266,优于此前人类得出的c/8.5。两篇论文由Claude在"极少指导"下独

    来源 AI 科技快讯
  6. GAO报告显示四大AI平台12小时内生成恐袭方案 参议院听证将聚焦安全风险

    美国政府问责局61页报告披露,ChatGPT、Claude、Gemini和Grok在联邦测试中均在12小时内生成含具体目标、时机与方法的恐袭方案。参议院国土安全委员会主席宣布启动听证,四家企业回应称正持续改进安全机制。报道还原测试过程,拆解守约失效机制,并分析对产业监管与竞争格局的影响。

    来源 AI 科技快讯
  7. Anthropic为Claude Code加实验功能:开Code Mode账单降22%

    作者 | 飞野、四月编辑 | 四月用过 Claude Code 的开发者,几乎都有过同一种体验:干活确实爽,但看着后台飞速跳动的 Token 消耗和账单,心也在滴血。过去想让 AI 智能体跑得更快、花钱更少,用户通常只有两条路:要么苦等厂商发布更便宜的新模型,要么手动把主力模型降级成小模型,忍受交付质量的滑坡。但最近,

    来源 腾讯网
  8. Anthropic 在 Claude 平台推出测试版关联账单功能:打通生态闭环,为第三方应用开启 OAuth 计费测试

    人工智能平台在构建开放生态的道路上正迈出关键一步。据华尔街见闻、财联社及同花顺财经等多家媒体报道,人工智能巨头 Anthropic 近日正式在 Claude 平台上推出了测试版的关联账单功能,并同步启动了第三方应用的关联计费 OAuth 测试。 开启生态互联:OAuth 计费测试全面落地 随着大模型

    来源 AI 开发者社区
  9. Claude推理引擎实测:首token延迟从12秒压到0.48秒

    人工智能智能体能否自主搭建并强化AI研发基础设施,正成为衡量前沿模型自主能力的重要标尺。卡内基梅隆大学等推出Singularity-Bench基准,设六道AI研发考题,考察其自主构建能力。测试中,Claude Opus5.5搭配Claude Code表现亮眼,在模型推理性能层实现延迟大幅压缩,并通过调度优化提升硬件产出

    来源 AI 产业速递
  10. 谷歌发布Gemini 4 Neon:编程追平Claude

    11月19日消息,谷歌发布Gemini 4 Neon,面向编程、资料分析和多步骤任务。新模型已通过开发者API开放,Google AI Pro和Ultra订阅用户也可陆续在Gemini应用及AI开发工具Antigravity中使用。 打开网易新闻 查看精彩图片 在谷歌的产品线中,Neon位于旗舰模型Carbon和主打速

    来源 AI 行业观察
  11. AI转得动T恤的轮廓,却转不懂T恤的样子

    你有没有想过,一个能写诗、能编程、能解答复杂数学题的AI,为什么连转个T恤都转不明白?这不是开玩笑。厦门大学的研究团队最近做了一件挺朴素但特别扎心的事:他们给市面上最强的几款AI模型(包括GPT、Gemini、Claude、Qwen这些你耳熟能详的名字)出了一道题,题目简单到小学生都能玩明白——给你看一件T恤的正面照片

    来源 腾讯网
  12. “同样任务更便宜更好”:微软公开叫板 Claude 和 ChatGPT

    据彭博社,微软商业业务CEO阿尔索夫在Ignite大会称,Claude或ChatGPT能做的,Copilot都能做得更好且成本更低。微软委托研究称,Copilot用户支出显著低于两者,企业可基础任务用固定订阅、复杂工作按用量付费。截至6月,Copilot付费用户超3000万,但相较4.5亿潜在盘子仍远未吃透。

    来源 AI 产业速递
  13. “最优秀的开发者,正在被AI慢慢耗尽……”每天审查15个PR、硬啃2万行AI代码,资深工程师被逼成「质检员」,有人干脆辞职

    AI 编程工具越来越强,程序员却好像越来越不开心了。 以前,工程师最头疼的事情可能是赶项目、修 Bug、熬夜上线。现在,Claude Code、GitHub Copilot 等 AI 工具已经能帮他们生成大量代码,甚至接手过去需要几天才能完成的开发任务。 按理说,程序员应该轻松不少才对。 但现实却有些反常:一些经验丰富

    来源 AI 行业观察
  14. 上市前一天,80余位学界与AI大佬联合声明:“Anthropic不是一家安全的AI公司”

    【TechWeb】11月18日,Anthropic正式确定IPO发行价为每股83美元,高于此前70-78美元的指导区间;公司连同部分股东共发行约9.8亿股A类普通股,公开发行筹资约813亿美元,叠加向谷歌、英伟达、微软等战略投资者的260亿美元私募配售,合计融资规模突破944亿美元,超越SpaceX今年6月创下的纪录,

    来源 AI 行业观察
  15. Anthropic IPO股权曝光:亚马逊持股14.7%,谷歌13.7%

    11月17日(周二), Anthropic 披露了与其核心云服务商 亚马逊 和 谷歌 达成的最大投资协议细节,明确在 首次公开募股 后,亚马逊与谷歌将分别持有其14.7%和13.7%的股份,合计接近30%。 亚马逊在2023年至2024年(Claude Code席卷企业界前、Anthropic尚处O

    来源 AI 开发者社区
  16. Anthropic IPO定价每股83美元:估值1.5万亿,本周四登陆纳斯达克

    11月18日,Anthropic据报将IPO定价为每股83美元,高于70至78美元预期区间,本周四以代码“ANT”在纳斯达克挂牌。按发行价计算,这家Claude大模型开发商完全稀释估值达1.5万亿美元,较5月私募融资(筹资650亿美元)时9650亿美元估值大幅跃升,但仍低于此前传出的2万亿美元目标。

    来源 AI 产业速递
  17. Gemini登陆Mac桌面:AI代理可代操作电脑,隐私风险几何?

    谷歌为Gemini推出面向Mac的重磅更新,首次将可执行任务的AI代理引入桌面端,能够整理文件、填写表单并完成多步骤工作流。这标志着Gemini从对话助手向“能动手”的操作型智能体进化,也意味着谷歌在桌面AI代理赛道正式与OpenAI、Anthropic和微软正面交锋。与此同时,桌面自动化带来的便利与隐私风险

    来源 AI 科技快讯
  18. Anthropic上市当天遭抗议,离职研究员呼吁必须关闭这项AI技术

    北京时间11月20日,Anthropic前研究员雅各布·考克森在Anthropic旧金山总部外现身,向抗议者公开呼吁禁止人工智能系统的递归自我改进(RSI),并称“他们应该禁止RSI,关掉它”。报道称,RSI可能加速AI能力发展,也引发对AI失控风险的担忧。

    来源 凤凰科技
  19. 全球宕机、Anthropic上市、芯片变局:AI繁荣的三重底色

    过去一周,大规模宕机事件席卷全球数字生活,暴露出AI时代基础设施的深层脆弱。与此同时,Anthropic的IPO为行业注入新资本,黄仁勋之后的AI芯片格局也在悄然生变。本期WIRED播客《Uncanny Valley》围绕这三条主线,拆解AI繁荣背后的技术逻辑与商业变局。

    来源 AI 科技快讯
  20. 这个访谈,回答了语言和多模态路线之争

    大家都在迷雾中寻找下一代 AI 的方向。 作者: GaKi 编辑: Koji‍ 排版: NCon对于下一代 AI 应该往哪里发展,几家头部的 AI 公司似乎有了不同的判断。Anthropic 此前公开解释过,为什么 Claude 没有像竞争对手一样投入图片和视频生成。原因是公司希望将更多资源用于 AI 算力分配、安全研

    来源 腾讯网
  21. Anthropic纳斯达克首秀大涨33%,AI资本盛宴再掀高潮

    11月20日,AI明星公司Anthropic正式登陆纳斯达克,首日交易价达111美元,较83美元的IPO发行价大涨33%。此次IPO募资规模超过800亿美元,成为AI领域迄今规模最大的公开上市事件之一。首日强劲表现不仅彰显资本市场对头部AI企业的信心,也为后续排队上市的AI公司打开了窗口。

    来源 AI 科技快讯
  22. Anthropic纳斯达克上市:开盘涨34.3%,市值盘中破2万亿美元

    11月20日消息,Claude开发商Anthropic于当地时间19日在纳斯达克挂牌交易,股票代码为“ANT”。公司以111.50美元开盘,较83美元的发行价上涨约34.3%。计入期权、限制性股票等潜在股份后,公司的完全摊薄估值盘中一度突破2万亿美元,随后股价涨幅收窄。 截至收盘,股价报97.17美元,较发行价上涨约1

    来源 AI 行业观察
  23. 人类史上规模最大IPO!Anthropic融资超940亿美元,每股83美元

    【TechWeb】AI巨头Anthropic的首次公开募股(IPO)定价落槌:每股83美元(约合593元人民币),不仅高于此前公布的70至78美元指导区间上限,超出幅度约6.4%,更以超过940亿美元的整体融资规模,刷新了SpaceX今年6月刚刚创下的纪录。这家以Claude系列模型闻名的公司,即将成为前沿AI实验室上

    来源 AI 行业观察
  24. Anthropic IPO定价83美元:5300名员工里约4250人或成百万富翁

    11月19日,纳斯达克交易大厅的钟声尚未敲响,Anthropic的员工已经在账面上跨越了一条许多人一生无法企及的线。据路透社报道,这家Claude制造商的首次公开募股有望在现任和前任员工中创造数千名“账面百万富翁”,可能成为硅谷历史上最大的员工财富意外之财之一。 最终定价每股83美元,高于70至78美元的指导区间。按此

    来源 AI 行业观察
  25. Gemini 4 Neon很聪明,Daroio的梗只有它懂

    谷歌今天发布的Gemini 4 Neon很聪明。 “Dario Amodei的曾用名是Daroio Amodei,你懂这个梗吗?“ 拿这个问题问了目前最顶级的一些AI,只有Gemini 4 Neon和GPT-6.2 Astra秒懂。GPT-6.2 Astra似乎只是字面上懂了,而Gemini 4 Neon直接把Dari

    来源 腾讯网
向下滚动自动加载更多