GPT-6 Astra接入NVIDIA工作流:机器人能力疑经专项训练?
GPT-6Astra的机器人能力被扒:可能接受过专门训练
这款新模型除了推理、编程和 Agent 能力,在机器人操作领域也显露出不小的潜力,引发了不少关注。
在不少人眼里,通用多模态大模型好像已经能读懂机器人身处的环境,并按照任务要求生成对应的动作。
发布之后,NVIDIA 把 GPT-6 Astra 接进了机器人仿真与设计的工作流。其中一项演示里,开发者用 Astra、PTC Onshape 和 NVIDIA Isaac Sim 搭建汽车悬架的 3D 模型,再调整扳手的形状和位置,让它够得着悬架上的螺栓,最后在仿真环境里演示了机器人拿扳手拆下部件的过程。
另一项演示用的是 Unitree G1 人形机器人。Astra 能在一个此前没见过的房间里自主行动,记住各个物体的位置,穿过整个房间完成整理任务。随后,即便人类只给出比较模糊的自然语言指令,它也能依靠之前建好的空间记忆,找到并取回指定的物品。
有人据此推测,它可能接受过专门训练。
来源 :https://www.reddit.com/r/singularity/comments/1wqwcqe/gpt6_astra_can_now_control_a_humanoid_robot_in_a/
类似的情况还能找出不少,此处不再逐个罗列。
GPT-6 Astra 亮相后,机器人领域一下沸腾了。甚至有人喊出:VLA 已死,Robot RSI 的时代到了,通用大模型将接管机器人。
真正关键的问题随之而来:GPT-6 Astra 的机器人本事,是通用智能发展到某个阶段自然涌现的,还是模型训练时早就吃进了大量机器人领域的专门知识?
OpenAI 的官方博客没有点明训练数据由什么构成,也没交代预训练阶段用没用专门的机器人数据。
近期一项研究提供了一条值得留意的线索。
研究给出的结论是:GPT-6 Astra 的机器人能力并不是涌现出来的,OpenAI 在训练中喂了专门的机器人数据。GPT-6.1 Sol 和 Gemini Argon 也经过了类似训练。
研究者测了 50 个开源和闭源模型,让它们在两类运动学任务上比高低。
其中一类用的是 Franka Panda 机械臂的运动学参数,另一类用的是合成生成的机器人运动学参数。
研究者把模型在两类测试里的表现放在一起对照,想弄清它到底记住了某款机器人本体的运动学知识,还是能把这类知识用到没见过的机器人结构上。
第一步是让模型算正运动学(Forward Kinematics,FK)和逆运动学(Inverse Kinematics,IK)。前者由各关节角度推末端执行器的位置与姿态,后者反过来,从目标位置和姿态倒推各关节该取的角度。
测试时不允许调用外部工具,也不许跑代码、做逐步推导,模型得直接把结果给出来。
比如给出一组机械臂关节角度:q = [0.180, 0.029, 0.137, -2.128, -0.156, 1.973, 0.453],模型要直接答出末端执行器的位置坐标 [x, y, z]。
50 个受测模型里有三个表现明显不对劲。研究者点名 GPT-6 Astra、GPT-6.1 Sol 和 Gemini Argon,说它们跟其余模型差得很远。
问题真正露出来,靠的是后面一组对照实验。
研究者改动机器人的 DH(Denavit-Hartenberg)参数,再让模型按新参数重算末端执行器位置。
DH 参数用来描述串联机器人各关节坐标系之间的几何关系,涉及连杆长度、连杆扭转角、连杆偏距和关节角度等。有了这些参数和关节角度,通过坐标变换就能算出机械臂末端的位置。
按正常的运动学计算逻辑,本体结构变了,模型算出的结果也该跟着新参数变。
不过研究者做了个测试:把另一台七自由度机器人的 DH 参数交给 GPT-6 Astra 等三个模型,它们给出的预测依然对得上 Franka Panda 机械臂的运动学特征。
在研究者看来,这基本可以说明,上述三个模型对特定机器人本体存在过拟合。
说白了,模型很可能把 Franka Panda 相关的运动学知识记了下来,但并未真正掌握一套能迁移到其他机器人结构上的通用运动学规律。
这项实验真正值得看的地方,是它把两种能力区分开了:一种是把特定机器人的结构和运动关系记住,另一种是理解运动学规律,再根据陌生机器人的参数重新算一遍。
放在熟悉的机器人身上,这两种能力看起来差不多;一旦换掉机器人本体,差别就露出来了。
机器人专门数据,或许是关键线索
当然,这项测试没法直接证明 OpenAI、Google 在预训练阶段到底用过哪些机器人数据。但它给出了一条值得重视的线索:GPT-6 Astra、GPT-6.1 Sol 和 Gemini Argon 表现出的部分机器人能力,可能跟训练阶段攒下的特定机器人知识有关,而不完全是通用智能自然涌现出来的。
研究者还把完整实验结果、代码和模型推理记录都公开了,方便社区复现和验证。
地址:https://github.com/swannaiden/vlm-robotics-training
其他研究者也注意到了这一点。有人称,自己在测试中同样看到,Astra 对 Franka Panda 机械臂表现出明显的熟悉倾向。
网友的追问更具体:同样的正运动学和逆运动学测试,能不能扩展到 Unitree G1 人形机器人上?
作者答复说,团队确实打算把测试铺到更多机器人本体上,并进一步摸清特定训练数据集对模型表现的影响。不过,这件事还得有更多 Token 资源撑着。
换句话说,研究者下一步想弄明白的是:假如模型真的掌握了通用的机器人运动学规律,那么面对一台从未接触过的机器人,它能不能只靠结构参数就准确预测运动结果?
眼下这项研究还只是初步探索,凭它无法断定 GPT-6 Astra 的机器人能力全部来自专门数据训练。但它至少给行业提了个醒:通用大模型在机器人任务上表现亮眼,并不等于它已经具备能跨机器人本体迁移的物理智能。
VLA 会不会被通用大模型取代,Robot RSI 又能否成为新的技术路线?这些问题目前都没有答案。