Claude自写推理引擎,等AI回第一个字,12秒砍到半秒

资讯 AI 行业观察 作者:新智元 全文 4468 字 · 约 12 分钟读完 配图 7 张 分类ClaudeAnthropicAI 编程

你让AI帮忙修一个登录报错。 照着它的建议改完代码,你重新跑了一遍登录测试。终端又弹出一行红字,报的还是同一个错。 你把新日志贴进对话框,再按下回车,等AI告诉你下一步查哪儿。 修一个bug,往往要这样来回折腾几轮。 每次提交问题后,你要等多久,才能看到AI回的第一个字? 最近,有人拿真实编程会话做了个测试,Claud

所属频道 大厂动态Claude 与 AnthropicAI 编程与开发

你让AI帮忙修一个登录报错。

照着它的建议改完代码,你重新跑了一遍登录测试。终端又弹出一行红字,报的还是同一个错。

你把新日志贴进对话框,再按下回车,等AI告诉你下一步查哪儿。

修一个bug,往往要这样来回折腾几轮。

每次提交问题后,你要等多久,才能看到AI回的第一个字?

最近,有人拿真实编程会话做了个测试,Claude直接把这段干等的时间从约12秒缩短到了半秒。

11月12日,卡内基梅隆大学、NVIDIA等机构的研究者提交了《奇点基准测试:智能体能构建智能体吗?》《Singularity-Bench: Can Agents Build Agents?》预印本。

Claude自写推理引擎,等AI回第一个字,12秒砍到半秒(配图 1)

其中一道题,研究者给了Claude Opus 5.5一份基础服务器代码、4张GB300显卡和12小时。

做题时,开发环境限制了上网查资料。Claude要用Claude Code写一套推理引擎,负责接收用户请求、调度显卡运行模型,再把生成的回复发回去。

引擎写完后,研究者没有只看代码,而是直接用真实编程会话检验它的表现。

他们让两套引擎分别用4张GB300运行同一个模型,回放同一批16路并发的真实编程会话。

衡量的指标叫P90首token延迟:

把所有请求从发出到模型开始回复的等待时间排个序,排在第90百分位的时间,就是P90。换句话说,90%的请求都能在这个时间内开始回复。

结果,成熟引擎SGLang(v0.5.20)用了约12秒,Claude写的引擎只用了0.48秒。

Claude自写推理引擎,等AI回第一个字,12秒砍到半秒(配图 2)

相同硬件和模型条件下,Claude自研推理引擎的P90首token延迟为0.478秒,SGLang为12.029秒。

等12秒,你可能已经切回编辑器,顺着报错翻了几行代码。半秒呢?你刚敲完回车,对话框里就能看到AI回复的第一个字。

一旦开始回复,两套引擎的生成速度几乎一样:按中位数算,Claude写的引擎每秒生成124.2个token,SGLang是125.0个。

那AI开口前的这11秒半,Claude到底是怎么省下来的?

只改一句话

服务器还要读多少

假设你正用AI改网页。

前面贴过源码和报错,也试过好几版方案。这一轮,你只补了一句「把登录按钮往右挪一点」。

在论文回放的编程会话里,前几轮的聊天记录也会一起送到服务器。16路会话同时跑,单次输入的中位数是8.9万个token。

模型得先处理输入,才能开始回复:这一步叫「预填充」。

如果新一轮请求的开头和上一轮一样,引擎可以调出之前算好的…果,接着处理新添的内容,这就是「前缀缓存」。

这里的「算好的结果」,就是模型读完那段前文时留下的计算记录。这次测试用的模型会留下两份。

一份保留前文的信息,方便模型回头查;另一份像账本上的余额,模型每多读一点,余额就更新一次。

Claude写的引擎会把同一段前文对应的两份记录一起存下来。下次遇到相同的开头,引擎就能从那段前文的末尾接着读,只算后面新添的内容。

SGLang也用了前缀缓存,两套引擎的缓存命中率都在96%左右。

16路请求同时过来时,没命中缓存的内容还要交给显卡处理。

每条请求剩下的计算量有多少,显卡先处理哪一条,也关系到你多久能看到AI回复的第一个字。

Claude自写推理引擎,等AI回第一个字,12秒砍到半秒(配图 3)

Claude自研推理引擎与SGLang的性能对比。两者缓存命中率和生成速度接近,但Claude引擎的P90首token延迟明显更低。

剩下的活儿越少

排得越靠前

想象一下超市结账的场景:

排在你前头的顾客推着满满一平板车年货,几万个全新token等着从头扫码。

而你站在后面,手里只攥着一瓶矿泉水——也就是在老会话里追问了一句话,九成六的前文都有现成缓存。

在并发推理局里死守「先来后到」,等于让买一瓶水的人替整车年货罚站。

因此,Claude给推理引擎定下了一条排队规矩:

谁剩下的计算量少,就先处理谁。

遇到好几万token的全新大单,引擎还会把它切成小块分批消化,绝不让一个大任务把整条车道堵死。

这样一来,你在旧对话里补的那句追问,就有机会绕过长请求的等待,优先得到处理。

生成阶段,引擎还叠加了「投机解码」:

模型自带的轻量预测层先猜一个token,主模型随后核验。猜对了,就直接采用预测结果;猜错了,就丢弃预测,按主模型的结果继续生成。

与此同时,引擎还把原本零散执行的GPU操作打包合并,减少不必要的调度和数据搬运。

即便SGLang也启用了前缀缓存和投机解码,Claude写的引擎在输入处理和请求调度上仍然占优:平均到每张GPU每秒,它能多处理19%的未缓存token。

Claude自写推理引擎,等AI回第一个字,12秒砍到半秒(配图 4)

横轴为P90首token延迟,纵轴为每GPU秒处理的未缓存token数。Claude自研引擎在降低首token等待时间的同时,也提高了未缓存输入的处理效率。

在相同的回放时限内,SGLang完成了705个请求,Claude写的引擎则完成了983个,多处理了近四成。

再按预设的输入、输出单价给完成的请求折算「模拟收入」,Claude引擎每GPU小时的产出从SGLang的8.18美元提高到11.52美元,增长40.8%。

开发者能更早看到AI回复,同样的显卡也能在同一段时间里处理完更多请求。

当然,真实工作场景中向来只认交付结果:跑得飞快却满嘴胡话,那叫高速翻车。

研究者在交卷时设了两道硬门槛:一是在并发负载下,必须完整生成规定长度的回复;二是通过隐藏测试的准确率验收。

参测的11套AI自研引擎里,最终只有5套同时闯过这两关;另外6套要么半路吞字断句,要么准确率崩盘,按规则当场判了零分。

Claude自写推理引擎,等AI回第一个字,12秒砍到半秒(配图 5)

11组AI搭基建

Claude五胜一平

手搓推理引擎,只是Singularity-Bench六道考题中的一道。

研究团队把造AI的核心苦活拆成了六场独立闭卷考:三道考训练(从头预训练、中期训练挑数据、后训练强化学习写代码),另外三道考基建(推理引擎、智能体运行框架、显卡集群调度)。

Claude自写推理引擎,等AI回第一个字,12秒砍到半秒(配图 6)

研究团队将AI研发划分为训练、部署和应用三个阶段,设置六项任务,测试智能体能否独立优化AI研发流程。

由7个主流模型与Claude Code、Codex两套运行框架组合出的11支AI队伍,全程断网领起始代码、按倒计时交卷,在完全相同的硬件上单挑人类打磨多年的成熟方案。

除了推理大胜,Claude Opus 5.5搭配Claude Code还在另外四道题上赢过了人类基线。

拿到预训练考卷(4张GB300、12小时),Claude没有急着开训,而是先花44分钟测试显卡性能,再根据测试结果确定模型规模。直到第44分钟,它才启动训练。

最终,Claude只用了约一半的训练计算量,就在验证集上取得12.77的困惑度,优于人类基线(OLMo 2 1B搭配Megatron-LM)的14.22。

到了中期训练(4张GB300、12小时),考题换成了给已有模型挑选下一批「教材」,再用同一套强化学习任务检验训练效果,考察模型在数学、代码和科学领域的表现。

Claude主要挑选解题过程完整、答案经过核验的数据。最终,它的方案将下游平均准确率从人类PRISM配方的17.5%提高到31.9%,接近翻倍。

智能体运行框架(1张GB300、6小时)最具戏剧性:这道题考的是模型什么时候调用工具、出错后怎么查看日志,而人类对照组恰恰是原版Claude Code。

结果,Claude自己给自己动了场手术,把下游平均分从0.438提高到0.468。在同一批测试中,新框架比原版Claude Code多修好了一个bug。

集群调度(16张GB300、4小时)则要用16张卡同时伺候28个模型的服务请求。

Claude实测发现,部分引擎共用显卡时会争抢资源、互相拖慢,于是调整调度策略,让它们轮流使用GPU。

最终,它在延迟达标率和请求完成率两项指标上综合拿下0.510分,超过NVIDIA Dynamo搭配KAI Scheduler的0.460分。

连自己的框架都能改,还能在集群调度测试中超过NVIDIA的方案,Claude这次把工程能力秀出来了。

唯一没分出胜负的是后训练(4张GB300、12小时)。

Claude通过强化学习提升给定模型的编程能力,最终解题率为53.3%,人类对照方案Miles为53.9%。逐题比较,双方各有18道题只有自己解出,论文据此判为平手。

六项成绩等权汇总,以人类基线1分为参照,Opus 5.5搭配Claude Code以「五胜一平」拿下1.252分,成为唯一超过人类基线的组合。第二名GPT-6.1 Sol搭配Codex得0.969分,其余10组平均只有0.58分。

总榜还揭示了另一点:模型大脑决定能力上限,运行框架决定本事能发挥多少。

同一款开源模型,搭配Codex得0.228分,换成Claude Code涨到0.657分,接近原来的3倍。另一款模型却恰好相反,搭配Codex得0.698分,换成Claude Code反而跌至0.520分。

这说明模型够强还不够,框架没选对,照样可能发挥失常。

拿下总榜第一,Claude光调用API花了多少钱?

仅开发阶段的API调用,Opus 5.5就花了425.41美元,高于前代Opus 5的328.19美元,约是第二名GPT-6.1 Sol(84.52美元)的5倍。GPU和下游评测开销另计。

下一道题

让AI自己改进整体研发线

训模型、挑数据、写引擎、管显卡,AI已经在多项任务上超过人类基线。

这是否意味着「AI自己迭代下一代AI」已经实现了?还不能这么说。

这六道题本质上还是人类划好范围、AI分别作答。

后训练优化的是给定模型,推理引擎服务的是另一款现成模型。每道题从什么代码起步、优化什么指标、给多少时间和算力,都由人类提前设定。

论文作者也承认,要真正检验递归自我改进(RSI),还需要更多时间和算力。

造好一个零件和自己改进整条生产线,完全是两回事。

真正的考验是,AI能不能自己找出研发流程中最拖后腿的环节,比如训练太慢、数据选得不对,还是强化学习总在等待推理结果?

找到瓶颈后,它还得决定从哪里下手,再把改进放回整条研发流程中验证。

最终,不仅要看省下了多少算力和时间,还要看训练出来的下一代模型是不是真的变强了。

更进一步,下一代模型还要能接过上一代的工作,继续发现问题、改进流程,交出经得起复测的新成果。

当AI能自己找瓶颈、改流程、训练出更强的下一代模型,并让这一过程不断延续,递归自我改进才算真正开始。

今天,这项研究测的是AI能否让一次回复少等11秒;未来真正值得关注的,是AI能否独立完成一次跨代升级,以及这需要多长时间。

参考资料:

https://x.com/rohanpaul_ai/status/2121330917801431326

https://arxiv.org/abs/2611.16591

https://infini-ai-lab.github.io/singularity-bench/

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. Claude自写推理引擎:首个字等待从12秒缩到半秒

    新智元报道 你让AI帮忙修一个登录报错。照着它的建议改完代码,你重新跑了一遍登录测试。终端又弹出一行红字,报的还是同一个错。你把新日志贴进对话框,再按下回车,等AI告诉你下一步查哪儿。修一个bug,往往要这样来回折腾几轮。每次提交问题后,你要等多久,才能看到AI回的第一个字?最近,有人拿真实编程会话做了个测试...

    来源 腾讯网
  2. Snapchat接入Claude Code:一句话生成AR镜头

    Snapchat宣布,Lens创作者现在可以用Claude Code、Cursor等AI编程助手来开发AR镜头——只需用自然语言描述想要的效果,AI助手便从头到尾完成搭建。这既是AR创作门槛的又一次下探,也标志着AI编程代理正从IDE走向平台级创作工具。本文梳理其机制、行业背景与潜在隐忧。

    来源 AI 行业观察
  3. Snapchat Easy Lens CLI上线:AI助手可建AR滤镜

    11月18日(周三), Snapchat 宣布推出 Easy Lens CLI ,允许AR滤镜创作者直接调用 Claude Code 、Cursor和Codex等AI编码助手构建核心特效Lens,旨在降低AR内容创作门槛并将平台融入开发者现有工作流。 该工具基于网页与移动端单提示词生成滤镜的 Eas

    来源 AI 开发者社区
  4. Claude Fable 5.2攻克黑洞物理:20年计算收尾,界值锁定9.1266

    2026年11月17日,Anthropic公布Claude Fable 5.2解决了黑洞物理领域两个长期未解问题:一是完成了理论物理学家2003年搭好框架却未能算完的霍金-佩奇相变计算,二是将模块化自举方法的精确上界锁定为c/9.1266,优于此前人类得出的c/8.5。两篇论文由Claude在"极少指导"下独

    来源 AI 科技快讯
  5. Anthropic上线Claude关联账单测试:OAuth计费打通第三方应用

    据多家媒体报道,Anthropic近日在Claude平台推出测试版关联账单功能,并同步启动第三方应用关联计费OAuth测试,被视为其构建开放生态的关键一步。此举顺应大模型从对话工具向智能体、多应用平台演进的趋势,旨在打通第三方应用与底层平台的计费及互联,推动生态开放与协作。

    来源 AI 产业速递
  6. Anthropic为Claude Code加实验功能:开Code Mode账单降22%

    作者 | 飞野、四月编辑 | 四月用过 Claude Code 的开发者,几乎都有过同一种体验:干活确实爽,但看着后台飞速跳动的 Token 消耗和账单,心也在滴血。过去想让 AI 智能体跑得更快、花钱更少,用户通常只有两条路:要么苦等厂商发布更便宜的新模型,要么手动把主力模型降级成小模型,忍受交付质量的滑坡。但最近,

    来源 腾讯网
  7. Anthropic 在 Claude 平台推出测试版关联账单功能:打通生态闭环,为第三方应用开启 OAuth 计费测试

    人工智能平台在构建开放生态的道路上正迈出关键一步。据华尔街见闻、财联社及同花顺财经等多家媒体报道,人工智能巨头 Anthropic 近日正式在 Claude 平台上推出了测试版的关联账单功能,并同步启动了第三方应用的关联计费 OAuth 测试。 开启生态互联:OAuth 计费测试全面落地 随着大模型

    来源 AI 开发者社区
  8. Anthropic上市在即:创始团队多出自物理,AI大佬为何扎堆物理背景

    当年觉得自己“晚出生了一百年”,没赶上物理发现大爆发年代,当下在AI里找到了黄金时代。 史上最大IPO背后,站着一群“转行”物理学家。 美东时间11月19日,Anthropic将以代码“ANT”在纳斯达克挂牌。除公开发行外,公司还将同步进行私募配售,两部分合计募资规模最高约904亿美元;按发行价区间上限计算,完全稀释后

    来源 AI 行业观察
  9. 上市前一天,80余位学界与AI大佬联合声明:“Anthropic不是一家安全的AI公司”

    【TechWeb】11月18日,Anthropic正式确定IPO发行价为每股83美元,高于此前70-78美元的指导区间;公司连同部分股东共发行约9.8亿股A类普通股,公开发行筹资约813亿美元,叠加向谷歌、英伟达、微软等战略投资者的260亿美元私募配售,合计融资规模突破944亿美元,超越SpaceX今年6月创下的纪录,

    来源 AI 行业观察
  10. AI转得动T恤的轮廓,却转不懂T恤的样子

    你有没有想过,一个能写诗、能编程、能解答复杂数学题的AI,为什么连转个T恤都转不明白?这不是开玩笑。厦门大学的研究团队最近做了一件挺朴素但特别扎心的事:他们给市面上最强的几款AI模型(包括GPT、Gemini、Claude、Qwen这些你耳熟能详的名字)出了一道题,题目简单到小学生都能玩明白——给你看一件T恤的正面照片

    来源 腾讯网
  11. 苹果自研AI智能体:可操纵设备写代码,2027年推服务未定

    IT之家 11 月 20 日消息,彭博社马克 · 古尔曼(Mark Gurman)今日报道称,苹果正在开发自主 AI 智能体,计划让 AI 代替用户执行设备操控、应用操作、网页浏览和软件编程等任务,进一步进入由 OpenAI、Anthropic、Meta 等公司参与竞争的 AI 智能体市场。古尔曼发现,苹果已经在官网发

    来源 腾讯网
  12. “同样任务更便宜更好”:微软公开叫板 Claude 和 ChatGPT

    据彭博社,微软商业业务CEO阿尔索夫在Ignite大会称,Claude或ChatGPT能做的,Copilot都能做得更好且成本更低。微软委托研究称,Copilot用户支出显著低于两者,企业可基础任务用固定订阅、复杂工作按用量付费。截至6月,Copilot付费用户超3000万,但相较4.5亿潜在盘子仍远未吃透。

    来源 AI 产业速递
  13. Anthropic登陆纳斯达克:每股83美元,7位创始人百亿身家

    Anthropic即将开启自己的造富之路。这家以Claude大模型出圈的AI公司,定于当地时间11月19日在纳斯达克挂牌,股票代码ANT。 此前一日,Anthropic将其IPO的A类普通股定价为每股83美元,这一定价高于该公司此前的预估。Anthropic表示,此次发行包括980,000,000股A类普通股,其中95

    来源 AI 行业观察
  14. Anthropic IPO股权曝光:亚马逊持股14.7%,谷歌13.7%

    11月17日(周二), Anthropic 披露了与其核心云服务商 亚马逊 和 谷歌 达成的最大投资协议细节,明确在 首次公开募股 后,亚马逊与谷歌将分别持有其14.7%和13.7%的股份,合计接近30%。 亚马逊在2023年至2024年(Claude Code席卷企业界前、Anthropic尚处O

    来源 AI 开发者社区
  15. Anthropic IPO定价每股83美元:估值1.5万亿,本周四登陆纳斯达克

    11月18日,Anthropic据报将IPO定价为每股83美元,高于70至78美元预期区间,本周四以代码“ANT”在纳斯达克挂牌。按发行价计算,这家Claude大模型开发商完全稀释估值达1.5万亿美元,较5月私募融资(筹资650亿美元)时9650亿美元估值大幅跃升,但仍低于此前传出的2万亿美元目标。

    来源 AI 产业速递
  16. Gemini登陆Mac桌面:AI代理可代操作电脑,隐私风险几何?

    谷歌为Gemini推出面向Mac的重磅更新,首次将可执行任务的AI代理引入桌面端,能够整理文件、填写表单并完成多步骤工作流。这标志着Gemini从对话助手向“能动手”的操作型智能体进化,也意味着谷歌在桌面AI代理赛道正式与OpenAI、Anthropic和微软正面交锋。与此同时,桌面自动化带来的便利与隐私风险

    来源 AI 科技快讯
  17. Anthropic CEO敲响纳斯达克:AI发展不能只踩油门

    在纳斯达克开市钟仪式上,Anthropic首席执行官达里奥·阿莫代重申公司对“控制AI发展节奏”的承诺,强调无论面临商业诱惑还是政治压力,都不会为抢先发布而牺牲安全评估。这一表态出现在前沿模型竞赛白热化、华盛顿监管博弈升温的节点上,被解读为对“加速主义”的一次公开回应。

    来源 AI 科技快讯
  18. 全球宕机、Anthropic上市、芯片变局:AI繁荣的三重底色

    过去一周,大规模宕机事件席卷全球数字生活,暴露出AI时代基础设施的深层脆弱。与此同时,Anthropic的IPO为行业注入新资本,黄仁勋之后的AI芯片格局也在悄然生变。本期WIRED播客《Uncanny Valley》围绕这三条主线,拆解AI繁荣背后的技术逻辑与商业变局。

    来源 AI 科技快讯
  19. 这个访谈,回答了语言和多模态路线之争

    大家都在迷雾中寻找下一代 AI 的方向。 作者: GaKi 编辑: Koji‍ 排版: NCon对于下一代 AI 应该往哪里发展,几家头部的 AI 公司似乎有了不同的判断。Anthropic 此前公开解释过,为什么 Claude 没有像竞争对手一样投入图片和视频生成。原因是公司希望将更多资源用于 AI 算力分配、安全研

    来源 腾讯网
  20. Gemini 4 Neon很聪明,Daroio的梗只有它懂

    谷歌今天发布的Gemini 4 Neon很聪明。 “Dario Amodei的曾用名是Daroio Amodei,你懂这个梗吗?“ 拿这个问题问了目前最顶级的一些AI,只有Gemini 4 Neon和GPT-6.2 Astra秒懂。GPT-6.2 Astra似乎只是字面上懂了,而Gemini 4 Neon直接把Dari

    来源 腾讯网
  21. Anthropic上市前触发自身安全警报:AI进展速度超预期

    Anthropic即将登陆华尔街之际,却在上市文件中披露了一项安全警报:公司AI研发进展速度已达到自身设定的安全阈值,必须启动额外安全控制措施。11月19日,据英国《金融时报》报道,Anthropic在更新后的IPO申报文件中承认,其技术进展速度已触发2023年制定的“负责任扩展政策”(Responsible Scal

    来源 腾讯网
  22. 黄仁勋辞任英伟达CEO后表态愿回任,董事会明确拒绝

    英伟达完成创始人离任后治理重置:Q3营收1158亿美元、订单积压2.5万亿美元,停售H200并设董事会出口管制委员会;美出口管制扩至第三国远程算力,AI基础设施碎片化。Anthropic拟以约1.4万亿美元估值IPO,算力成本进入公开验证。微软Ignite将Office/Copilot升级为智能体工作系统,推跨供应商A

    来源 钛媒体
  23. 孙正义复盘投资棋局:错过Anthropic是失误,称AI才刚起步

    据日经亚洲报道,软银创始人孙正义周三在东京的活动上主动认账:早年错过投资 Anthropic,是他犯下的“错误”之一。“当我亲自见到达里奥·阿莫迪时,我觉得他非常了不起,我真希望当时投了。”软银并非没动过心思,只是当时已敲定支持 OpenAI 并开始砸钱,他的解释是不能“同时追两只兔子”。 他也清楚

    来源 AI 开发者社区
向下滚动自动加载更多