Claude Opus5.5跑Singularity-Bench:延迟12秒降至半秒
人工智能智能体能否自己动手搭建和强化 AI 研发基础设施,正在成为衡量前沿模型自主能力的重要标尺。卡内基梅隆大学等机构的研究人员近日推出了 Singularity-Bench 基准测试,专门设置六道与 AI 研发相关的考题,考察智能体自主构建 AI 研发能力的水平。在这场测试中,Claude Opu
前沿模型的自主能力该怎么衡量?一个观察角度是看AI智能体能不能自己动手搭起并强化AI研发所需的基础设施。卡内基梅隆大学等机构的研究人员近日拿出了一套名为 Singularity-Bench 的基准测试,围绕 AI 研发设了六道考题,用来检验智能体自主构建 AI 研发能力的水平。测试中,
Claude Opus5.5 搭配 Claude Code 跑出了相当亮眼的成绩。
延迟被大幅压了下来,调度优化也让硬件产出变高
模型推理性能这一块,这套组合的工程优化效果很突出。同样的硬件条件下,Claude 自研的推理引擎把 P90 首 token 延迟从成熟推理引擎 SGLang 的约 12 秒压到了 0.48 秒。
首字响应速度之外,这个推理引擎还靠优化调度等手段,把整体处理效率和显卡产出表现又往上推了一截。
六道题五胜一平,总分反超人类基线,自我改进还在早期
Singularity-Bench 给出的六项 AI 研发考题里,Claude Opus5.5 与 Claude Code 的组合最后拿下五胜一平,也是唯一总分超过人类基线的参赛组合。
研究人员同时点出了眼下测试的边界:当前任务范围仍由人来划定,离真正意义上的 AI 递归自我改进,还得靠后续不断探索和验证。