Anthropic Fable 5.2:RoboDojo 64.9% 登顶,旧Claude方案夺第一
11 月 10 日,Anthropic 发布新一代模型 Fable 5.2,再次将通用大模型的物理行动能力推向新的高度。在 Anthropic 公布的评测结果中,Fable 5.2 在 RoboDojo Sim 双臂机器人仿真评测中取得了 64.9% 的正确率,较上一代 Fable 5.1 大幅提升,也显著领先 GPT
11 月 10 日,
Anthropic 推出新一代模型 Fable 5.2。通用大模型在物理世界里动手做事的能力,被这家公司又往前推了一步。
Anthropic 公布的评测里,
Fable 5.2 在 RoboDojo Sim 双臂机器人仿真评测上拿到 64.9% 的正确率。这一数字比上一代 Fable 5.1 高出不少,也明显压过 GPT-6 Astra。拧瓶盖、玩魔方、绘画这些机器人任务,Anthropic 一并做了展示。前沿模型的较量,正把通用物理行动能力当成新的争夺点。
截至 11 月 11 日,Robodojo Sim Agent 榜单上排第二的是
Claude Fable 5.2,只落后于 10 月 30 日上榜的 Q0-Preview:后者任务成功率 68.87%,综合得分 74.2,也是该榜单开榜以来头一个综合得分越过 70 的方案。成绩之外,更值得琢磨的是它选的技术路线——Q0-Preview 没走 VLA,也没走 WAM,走的是 Agent 路线,研究怎么把前沿多模态大模型的任务规划、空间感知、记忆反馈、工具调用这些复合能力用起来,让模型自己完成复杂的物理操作。
更让人意外的是基座模型。驱动 Q0-Preview 的不是口碑不错的
GPT 6 Astra,而是 Claude 的上一代模型 Opus 5.5。Anthropic 官方给出的 Opus 5.5 正确率只有 39.4。通用大模型加速迈进物理世界,更深的问题跟着冒出来:它的物理行动能力边界究竟在哪?大模型的空间理解与推理能力,又该怎么跟具身上的 know-how 结合,换来更强的物理行动表现?
作为 Q0-Preview 的技术前瞻,下面简要梳理乾章智能(Qoo Tech)在 Physical Agent 上的探索。
Q0-Preview 的官测代码已经开源。
GitHub 地址:https://github.com/XPolicyLab/XPolicyLab/tree/main/policy/Q0_Preview
有个开放性问题:让大模型去做具身操作,本质到底是什么?
Q0-Preview 给出的核心观点是:把每个操作阶段的接触位置和接触姿态定下来。
拿抓苹果这个简单任务来说。认出苹果这个目标物体之后,还得判断抓它哪个部位、夹爪从哪个方向靠近、以什么朝向夹住。这些判断转成机械臂的目标位姿,再生成可执行动作,问题就解开了。
核心方案:靠空间计算完成具身操作
通用多模态智能体在多模态感知和编程上已经很强。可放到具身控制里,这两样本事能不能用、又该怎么用足,仍是一个新的开放性问题。
回到前面那个问题。控制本身就是在预测接触信息和接触姿态,而姿态又能由多个点定下来。多模态智能体在这里正好当桥梁:感知若干像素点,用计算的方式算出接触信息在空间中的坐标,操作便得以实现。
据此,Q0-Preview 提出把模型的空间感知与编程能力用足——通过单目或多目观察找到目标像素位置,再结合相机内外参和像素坐标计算工具做空间计算,也就是把图像里的接触目标像素定位到世界坐标系中。
具体到夹爪,模型用三个空间参考点表达目标位姿和接触信息:两个有序点的中点定出参考接触位置,两点连线定出夹持方向,第三个点补上接近方向。位置、姿态的表示和接触信息,就此统一成一个可计算的空间计算问题。
多模态智能体依据观测和指令判断当前阶段的子任务,提交目标位置姿态和夹爪指令。下游的 cuRobo 等运动规划组件把这些转成连续动作。执行完毕,智能体再根据新观测核对结果、调整下一步,形成“观察 — 计算 — 执行 — 反馈”的闭环。
Harness:让大模型真正
从“会算”到“会做”
围绕这套核心方案,Q0-Preview 搭了一套 Harness,用来规范模型与观测、工具、执行模块之间的交互。
1. 划清执行边界与工具调用
模型能拿到哪些观测、机器人状态和先验信息,统一起来;思考与工具调用的预算、控制指令的输出格式,也一并约定。任务按短动作组推进,必要的中间阶段设视觉检查点,照执行结果决定接着走还是重新规划。模型可以调用现成程序,也可以自己写程序,实现图像裁剪、局部放大等工具来辅助空间计算。
2. 用仿真试错攒通用操作经验
开发阶段靠仿真试错,归纳出可供模型通用的操作规则。比如用空闲手的腕部相机帮忙观察、少些遮挡;规划路径时把碰撞规避和后续可见性一起考虑;按抓取、搬运、放置等阶段调整运动速度。这些技能在仿真里学会,再迁移到真机上。
3. 补齐任务要求,讲清完成条件
有些任务说明写得比较笼统,Q0-Preview 的做法是补上静态任务规则、完成条件和必要的操作建议,让模型的理解尽量贴近评测要求,少出偏差。整个执行过程中,它不会去读评测器的实时奖励,也不碰环境判定信号。
4. 管理上下文与任务记忆。初始信息、近期观测和一份紧凑的任务记忆都会被保留下来,已确认的进展、当前状态和后续目标都记在里面,上下文增长带来的开销由此得到控制。上游决策与下游执行之间则通过明确接口隔开,多阶段操作因此能一环接一环地走下去。
能力展示
Q0-Preview 在好几个维度上的表现都出乎意料,有些任务做起来比专家遥操作还顺。
1. 双臂同步操作。同一个行动阶段里,给左右臂分别设定目标,能并行的操作就同步推下去。
视频链接:https://mp.weixin.qq.com/s/C3PfYyQM07XLwfE7xCGwAQ
视频链接:https://mp.weixin.qq.com/s/C3PfYyQM07XLwfE7xCGwAQ
2. 双臂协同操作。双臂围绕同一个目标分工,支撑、交接这些动作之间谁先谁后、怎么依赖,执行时按这个关系来协调。
视频链接:https://mp.weixin.qq.com/s/C3PfYyQM07XLwfE7xCGwAQ
视频链接:https://mp.weixin.qq.com/s/C3PfYyQM07XLwfE7xCGwAQ
3. 精准操作。先靠多视角观察做空间计算,把位置和朝向定下来,接近之后再利用新的观测把偏差修正掉。
视频链接:https://mp.weixin.qq.com/s/C3PfYyQM07XLwfE7xCGwAQ
视频链接:https://mp.weixin.qq.com/s/C3PfYyQM07XLwfE7xCGwAQ
4. 自适应调整。物体状态变了、动作执行结果出来了,就重新定位目标、调整姿态,或者把操作计划改掉。
视频链接:https://mp.weixin.qq.com/s/C3PfYyQM07XLwfE7xCGwAQ
视频链接:https://mp.weixin.qq.com/s/C3PfYyQM07XLwfE7xCGwAQ
5. 记忆
此前拿到的信息和已经做完的步骤都留着,后面的阶段据此做判断,那些依赖历史信息的任务就是这样完成的。
视频链接:https://mp.weixin.qq.com/s/C3PfYyQM07XLwfE7xCGwAQ
视频链接:https://mp.weixin.qq.com/s/C3PfYyQM07XLwfE7xCGwAQ
物理智能这块硬骨头,眼下才刚啃到难处。乾章智能(Qoo Tech)拿出的 Q0-Preview 说明了一件事:前沿基础大模型在具身操作上是有潜力的。语义理解、空间推理、工具调用,这些能力一旦和机器人操作里的关键约束捏到一起,就有机会用简单直接的办法做出明显进展,基础大模型也正给具身领域带来新的技术拐点。
可真要落到真实的具身环境和任务里,麻烦还不少。头一个就是推理效率和成本:为了完成看起来并不复杂的操作,前沿大模型可能烧掉百万级 Token,推理时间要以小时计。这样的时间和花销,离实际部署的要求差得还远。怎么在保住操作能力的同时砍掉冗余推理和工具调用、把决策效率提上去,是具身 Agent 绕不开的坎。
更根本的疑问在于:大模型的具身操作能力到底从哪儿来?GPT 6 Astra 当初投向具身领域,外界猜测纷纷,说它的训练数据里加了很多具身 EGO 数据,这才有了空间理解和具身操作的跃迁。可 Q0-Preview 基于 Opus 5.5 的实践,让人不得不接着往下想:具身数据、代码生成、工具调用、三维生成这些因素里,究竟是谁对大模型的物理操作能力贡献最大?模型自身的能力和 Harness 的设计又怎么互相作用?单靠一个榜单成绩回答不了这些问题,得靠系统性的对照实验才能厘清,也才能给未来的数据建设、训练目标和系统设计指个更明确的方向。
推理延迟长,还卡住了当前具身 Agent 适应动态环境的能力。真实世界里,物体和环境不会停下来等模型想完,从观测到执行之间一旦有变,原来的计划就可能作废。怎么及时跟上变化,把视觉和力、触觉反馈结合起来,并在长期运行中扛住扰动、从失败里恢复、保持操作可靠,这些都要继续摸索。
挑战虽然摆在那儿,基础大模型露出的零样本泛化本事,已经给具身智能蹚出一条新路。Q0-Preview 的尝试说明,把通用模型的能力和具身领域的知识、约束接起来,机器人的任务边界有望不断往外推。基础大模型打开的这些可能性,正指向具身智能的下一个拐点。
团队近期会发布技术报告和更快、更干净的新版代码,补上技术细节,展示更多真机实验,也会进一步聊当前方法的能力边界和后续方向。