Fable 5.2登顶之前,Q0-Preview用旧版Claude拿了第二
唯一超过Fable5.2:不走VLA,也不走WAM,他们用I旧Claude拿了第一
11 月 10 日,
Anthropic 推出新一代模型 Fable 5.2,通用大模型在物理行动上的能力又被往上推了一截。
Anthropic 公布的评测里,
Fable 5.2 在 RoboDojo Sim 双臂机器人仿真评测中正确率达到 64.9%,比上一代 Fable 5.1 提升明显,也明显压过 GPT-6 Astra。拧瓶盖、玩魔方、画画这些机器人任务,Anthropic 也一并展示了。物理行动能力,正成为前沿模型比拼的新战场。
到 11 月 11 日为止,Robodojo Sim Agent 榜单上
Claude Fable 5.2 能排到第二,前面只有 10 月 30 日上榜的 Q0-Preview:任务成功率 68.87%,综合得分 74.2。Q0-Preview 也是该榜单开榜以来第一个综合得分越过 70 的方案。成绩之外,技术路径更值得看——Q0-Preview 没走 VLA,也没走 WAM,用的是 Agent 路线,试着把前沿多模态大模型的任务规划、空间感知、记忆反馈、工具调用这些复合能力用起来,让模型自己完成复杂的物理操作任务。
更让人意外的是,Q0-Preview 背后驱动的基座大模型并不是广受好评的 GPT 6 Astra,而是 Claude 的上一代模型 Opus 5.5。Anthropic 官方汇报中,Opus 5.5 的正确率只有 39.4。通用大模型加速进入物理世界,更深的问题也跟着冒出来:通用大模型的物理行动能力边界在哪里?大模型的空间理解与推理能力,怎么和具身上的 know-how 融合,才能拿到更好的物理行动能力?
作为Q0-Preview的技术前瞻,乾章智能(Qoo Tech)这次把在Physical Agent方向上的探索做了简要交代。官方测试代码已经开源。
有个开放性问题一直被摆在前头:让大模型去驱动具身操作,本质到底是什么?Q0-Preview给出的核心判断是——把每个操作阶段的接触位置和接触姿态定下来。
拿抓苹果这个简单任务来说。识别出苹果这个目标物体之后,还得判断抓它哪个部位、夹爪从哪个方向靠过去、又以什么朝向夹住。这些判断一旦转成机械臂的目标位姿,再往下生成可执行动作,事情就通了。
核心方案:空间计算即可具身操作
通用多模态智能体在感知和编程上已经相当能打。可放到具身控制里,这两样本领能不能用、怎么用足,仍是一个新的开放性问题。
回到前面那个问题。控制本身就是在预测接触信息和接触姿态,而姿态又能由若干点确定,多模态智能体正好在中间当桥梁:感知多个像素点,用计算的方式算出接触信息在空间中的坐标,操作就落到了实处。所以Q0-Preview主张把模型的空间感知与编程能力用起来——单目或多目观察先识别目标像素位置,再结合相机内外参和像素坐标计算工具做空间计算,把图像里要接触的目标像素定位到世界坐标系。
落到夹爪上,模型用三个空间参考点就能表达夹爪的目标位姿和接触信息:两个有序点的中点定下参考接触位置,两点连线定下夹持方向,第三个点补上接近方向。位置、姿态的表示和接触信息就此统一成一个可计算的空间计算问题。
当前阶段做哪个子任务,由多模态智能体根据观测和指令来定,随后提交目标位置姿态与夹爪指令。下游的cuRobo等运动规划组件把这些转成连续动作。执行完,多模态智能体再看新观测核对结果、调整下一步,“观察—计算—执行—反馈”的闭环就这样转起来。
Harness这部分,解决的是让大模型真正从“会算”走到“会做”。
围绕这套核心方案,Q0-Preview搭起了一套Harness,用来规范模型与观测、工具、执行模块之间怎么交互。
第一条,把执行边界和工具调用定清楚。
模型能拿到哪些观测、机器人状态和先验信息,统一到一处;思考与工具调用的预算、控制指令的输出格式,也都事先约定好。任务以短动作组为单位往前推,在关键的中间节点插入视觉检查点,看执行结果再决定是接着走还是重新规划。模型可以调用现成的程序,也能自己写,用图像裁剪、局部放大这类工具帮忙做空间计算。
第二条,靠仿真试错攒下通用的操作经验。开发阶段就在仿真里反复试,把能通用的操作规则总结出来,供模型参考。比如用空闲那只手的腕部相机帮着观察,少挡视线;规划路径时既避开碰撞,又顾到后面还能不能看见;抓取、搬运、放置各阶段的速度也分别调整。这些技能在仿真里学会,可以迁移到真机上。
第三条,补上任务要求,把完成条件说明白。
有些任务说明写得比较笼统,Q0-Preview就补上静态任务规则、完成条件以及必要的操作建议,让模型的理解和评测要求对得上。执行过程中,评测器的实时奖励和环境判定信号一概不读。
第四条,管好上下文和任务记忆。初始信息、近期观测和一份紧凑的任务记忆都留着,里面记下已确认的进展、当前状态和后续目标,以此压住上下文膨胀带来的开销。上游决策与下游执行之间用明确接口隔开,多阶段操作才能一环接一环地走下去。
能力展示
Q0-Preview 在好几个维度上的表现都相当亮眼,部分任务甚至比专家遥操作还要顺滑。
1. 双臂同步操作
在同一行动阶段,给左右臂各自设定目标,让能并行的操作同步推进。
2. 双臂协同操作
双臂围绕同一个目标分工,按支撑、交接等动作之间的依赖关系来协调执行。
3. 精准操作
先通过多视角观察做空间计算,定下位置和朝向;接近之后再利用新的观测修正偏差。
4. 自适应调整
目标变了、执行结果对不上,就重新找目标、改姿态,或者把操作计划再修一遍。
5. 记忆
前面拿到的东西、已经做完的步骤都留着,后面接着拿它们做判断,那些要靠历史信息才能完成的任务也就有了着落。
物理智能这块,真正的难题才刚露头。
乾章智能(Qoo Tech)拿出的 Q0-Preview,让人看到前沿基础大模型在具身操作上能走多远。语义理解、空间推理、工具调用,这些能力跟机器人操作里的关键约束放在一起,具身领域正因此走到一个新的技术拐点上——方法不用绕弯子,也有机会拿到明显的进展。
不过,基础大模型要真在真实的具身环境和任务里落地,面前还横着不少硬骨头。
先说推理效率和成本。前沿大模型要完成一个看起来不复杂的具身操作,可能烧掉百万级 Token,推理时间长达数小时。这样的时间和花销,离真正部署还差得远。既要保住操作能力,又要砍掉多余的推理和工具调用、把决策速度提上来,这是具身 Agent 绕不开的一道坎。
更根本的疑问是:大模型的具身操作本事到底从哪来?GPT 6 Astra 是前沿大模型投向具身领域的一声惊雷,当时外界纷纷猜测,它的训练数据里加了大量具身 EGO 数据,才带来空间理解和具身操作的跃迁。可 Q0-Preview 基于 Opus 5.5 的实践,让人不得不往下想:具身数据、代码生成、工具调用乃至三维生成这些因素,究竟谁对大模型的物理操作能力贡献最突出?模型自身的能力和 Harness 的设计又怎么相互影响?单靠一个榜单成绩答不了这些问题,得靠系统性的对照实验厘清,才能给未来的数据建设、训练目标和系统设计指出更明确的方向。另一边,推理延迟太长,也让当下的具身 Agent 很难适应动态环境。真实世界里,物体和环境不会等模型想完,从观测到执行之间一旦有变,原计划就可能作废。怎么及时响应动态变化,把视觉与力、触觉反馈结合起来,在长期运行中扛住扰动、从失败里恢复、保住操作可靠性,这些都还要继续摸索。
挑战摆在那儿,但基础大模型表现出的零样本泛化能力,已经给具身智能蹚出一条新路。Q0-Preview 的探索说明,把通用模型的能力和具身领域的知识、约束捏到一起,机器人的任务边界有望不断往外扩。基础大模型打开的这些可能性,正指向具身智能的新拐点。
团队近期会发布技术报告和更快、更干净的新版代码,补充技术细节,展示更多真机实验,也会进一步讨论当前方法的能力边界和后续方向。