Anthropic发布Fable 5.2与Mythos 5.2,机器人控制成绩超GPT-6 Astra
刚刚,Anthropic 正式发布 Claude Fable 5.2 和 Mythos 5.2,并在官方报告中披露了机器人控制测试成绩。 在 RoboDojo Sim 测试中,Fable ....
Anthropic 刚刚推出了 Claude Fable 5.2 和 Mythos 5.2,随发布一并公开的官方报告里,给出了这两款模型在机器人控制测试上的表现。
在 RoboDojo Sim 的评测中,
Fable 5.2 的平均成绩为 64.9%,GPT-6 Astra 则只有 29.8%,前者是后者的 2.18 倍。
同一套测试框架下,Anthropic 还评测了上一代 Fable 5.1、Opus 5.5 等模型,结果分别如下:
Fable 5.2:64.9%
Opus 5.5:39.4%
GPT-6 Astra:29.8%Fable 5.1:27.6%
这次提升有两个说法:Anthropic 一方面称 Fable 5.2 领先于其他参与同框架测试的前沿通用模型,另一方面表示它的成绩也高过大多数专门为机器人控制打造的 AI 系统。
Anthropic 这次测的到底是什么?
测试平台是 RoboDojo Sim,考察的是 AI 能不能看着摄像头图像,操控仿真环境里的双臂机器人把操作任务做出来。
官方专门说明,参与对比的模型跑的是同一个 harness,各自都用上了能拿到的最高推理强度。Fable 5.2 的 64.9% 就是在 Max effort 配置下跑出来的。
RoboDojo Sim 给的是平均分,并不代表 64.9% 的任务都做成了。
还有一点:这轮测试是 Anthropic 自己跑的,并非 RoboDojo 官方排行榜发布的成绩。
拿 GPT-6 Astra 来说,Anthropic 报告里写的是 29.8%,而 RoboDojo 官方榜单此前给出的综合得分是 28.97。
所以眼下能直接横向比的,只是 Anthropic 这次内部测试里的几个模型;至于 Fable 5.2 在 RoboDojo 官方榜单上排第几,还不能据此下结论。
发布文章里也没有披露 Fable 5.2 的逐项任务成绩,它究竟在哪几类机器人操作任务上进步最大,暂时无从得知。
除了 RoboDojo,Anthropic 还展示了真实机器人操作。
报告里附了一段 Fable 5.2 操控实体机器人的演示视频。
视频里有三个具体任务:
一是解谜题方块,机器人要摆弄方块,把谜题解出来。
二是拧开瓶盖,机器人实际动手把瓶盖旋下来。
三是画出机器人图案,机器人握着绘图工具,在纸面上把图案画出来。
Anthropic 在报告中写道:“即使对于它从未接受过明确专项训练的机器人任务,也是如此。”
Anthropic 想说明的是,Fable 5.2 在机器人控制上的进步,不只是发生在它接受过明确训练的那些任务里。
这回 Anthropic 把机器人评测摆进了新模型的重点展示环节,外界由此看出,它对这个领域的重视程度正在上升。