Claude推理引擎实测:首token延迟从12秒压到0.48秒
人工智能智能体能否自主搭建并强化AI研发基础设施,正成为衡量前沿模型自主能力的重要标尺。卡内基梅隆大学等推出Singularity-Bench基准,设六道AI研发考题,考察其自主构建能力。测试中,Claude Opus5.5搭配Claude Code表现亮眼,在模型推理性能层实现延迟大幅压缩,并通过调度优化提升硬件产出
前沿模型能不能自己动手搭起并强化 AI 研发所需的基础设施,正被拿来当作衡量其自主水平的一把尺子。卡内基梅隆大学等机构的研究人员近日发布 Singularity-Bench 基准测试,围绕 AI 研发设置了六道考题,用来检验智能体自主构建 AI 研发能力的成色。测试中,
Claude Opus5.5搭配 Claude Code 的组合交出的成绩相当亮眼。
推理性能这一项,这套组合的工程优化效果很突出。在硬件条件相同的情况下,Claude 自研的推理引擎把 P90首 token 延迟从成熟推理引擎 SGLang 的大约12秒缩短到0.48秒,降幅明显。
首字响应变快只是一面。该推理引擎还借助调度优化等手段,把整体处理效率和显卡产出表现一并往上推了一截。
Singularity-Bench 的六项 AI 研发考题里,Claude Opus5.5与 Claude Code 最终拿下 五胜一平,也是所有参赛组合中唯一总分压过人类基线的。
研究人员同时点明了眼下测试的边界:任务范围目前仍由人来划定,离真正意义上的 AI 递归自我改进还有距离,后面得继续做探索和验证。