F2G-Pose:机器人如何一次前向搞定位姿尺寸与完整形状?
机器人想要拿起桌上的杯子,首先需要知道什么?识别出「这是一个杯子」,显然还不够。它还需要判断杯子在哪里、朝向如何、实际有多大,才能为后续抓取和操作提供可靠的空间信息。对于人类,这些判断往往不需要刻意思考。但对于机器人,尤其是面对从未见过的物体实例时,问题远没有那么简单:物体可能被部分遮挡,深度相机只...
机器人要把桌上的杯子拿起来,得先弄清哪些信息?只认出「这是一个杯子」远远不够。杯子在哪儿、朝哪个方向、实际尺寸多大,这些空间信息都得掌握,后续抓取和操作才有可靠依据。
对人来说,这类判断基本不用费心。换成机器人,情况就复杂了,碰到没见过的物体实例尤其如此:物体可能被遮住一部分,深度相机能拍到的表面有限,同一类物体之间的形状也可能差得很远。类别级 6D 物体位姿估计(Category-Level 6D Pose Estimation)要做的就是这件事——不靠每个物体单独的 CAD 模型或参考图像,直接从视觉观测里推断物体的三维位置和旋转方向。
近日,复旦大学与上海创智学院的研究团队提出 F2G-Pose(Geometry-Aware Foundation Feature Lifting),相关成果已被接收。
论文: F2G-Pose: Geometry-Aware Foundation Feature Lifting for Direct
会议:
研究单位:
论文链接: https://arxiv.org/abs/2610.31623
项目主页: https://jrryzh.github.io/F2G-Pose/
代码仓库: https://github.com/jrryzh/F2G-Pose
和那些需要反复生成候选姿态的做法不同,F2G-Pose 走的是更直接的一条路:输入一帧经过目标分割的图像,直接给出 6D 位姿、真实尺寸,以及相机坐标系下的补全三维形状。
在 RTX 4090 上,关掉形状补全分支后,该模型的推理速度达到 28 FPS,多个基准测试里也拿到了领先的结果。团队还把系统装到真实机械臂上跑过,验证了预测结果在机器人操作中的实际价值。
01|位姿估计的难点,不只是找到正确答案
现有的类别级位姿估计方法,大体可以归为两条技术路线。
其中一类先借助规范坐标、几何对应关系或形状先验搭出中间表示,再把它转成物体的最终位姿。这条路推理效率通常不错,可一旦物体被遮挡、深度信息缺失,或者形状变化比较大,中间预测的误差就可能一路传到最终结果上。
另一类则把位姿的不确定性显式建模出来。以
这种思路有它的道理:物体只被看到一部分时,确实可能存在好几种合理的姿态解释。不过团队注意到一个更值得深挖的问题——能生成准确的候选姿态,并不代表最后就一定能挑出准确的那个结果。
论文对
对需要持续感知、实时执行的机器人来说,精度和延迟之间的这笔账尤其关键。
于是团队抛出了一个问题:
能否让网络直接从
动图 1|同一帧内位姿预测结果与真实标注的对照。
02|F2G-Pose:把二维视觉特征送进三维空间
直接回归位姿,这个思路并不新鲜。难的是另一件事:只看到物体的局部时,网络怎么才能建出足够可靠的三维表示?F2G-Pose 给出的做法是,视觉基础模型负责提供语义和外观线索,深度点云负责提供真实的几何约束,两者再放到同一个网络里一起推理。
图 1|F2G-Pose 的整体架构:视觉特征提升、局部几何编码、MoE Transformer,以及位姿、尺寸、形状预测。
第一步,是把视觉基础特征提升到三维空间。
模型用的是冻结的
经过这一步,每个三维点除了空间坐标,还带上了所在区域的视觉信息。
比如深度信息能反映物体表面的几何起伏,视觉特征则能补上纹理、部件和语义方面的线索。把两者合在一起,比只用 RGB 或只用深度都更利于判断物体在空间里的真实状态。
之后,F2G-Pose 用
再往后,借助
局部特征能帮模型看清表面细节,可位姿估计要的是对物体的整体理解:哪些结构之间存在关联,哪些部件能用来区分朝向,眼前看到的这部分又怎样拼成完整物体。
F2G-Pose 靠 Transformer 把这些信息汇总起来,并加入
网络里放了 8 个专家,每个 Token 会动态挑出其中 2 个来参与运算。这么一来,面对复杂多样的物体几何,模型能用比较有限的计算开销做出更灵活的建模。
还有一层:除了估计位姿,物体的完整形状也得学出来。这是 F2G-Pose 设计里的另一块重头。
在共享的物体表示之上,网络分出两条并行的路子:一条直接回归物体的旋转、平移和真实尺寸;另一条拿观测到的局部点云作输入,一点点把物体的三维形状补全。
补全形状走的是由粗到细的路子,最后给出 2048 个三维点,这些点直接落在相机坐标系里,不必再做规范空间到相机空间的对齐。
动图 2|相机坐标系下的形状补全展示。
这等于给下游模块提供了一个近似的几何输出。更关键的是,形状补全本身成了训练位姿估计网络的一种几何监督——模型没法只靠有限的外观特征去猜物体朝向,它还得学会把可见表面和整体三维结构对应起来。
到头来,位姿、尺寸和形状都由同一套
03|更快,也更准:多项实验验证方法有效性
研究团队先在
在
衡量三维包围盒匹配质量,用的就是下面这些指标。
在 SOPE 上,F2G-Pose 拿到 43.7,
ROPE
图 3|ROPE 定性结果:RGB 输入、位姿真值、GenPose++、F2G-Pose 与预测形状。
论文采用统一推理测试协议。这一条件下,GenPose++ 运行速度约 4 FPS;F2G-Pose 只做位姿估计时能跑到 28 FPS,约为前者的 7 倍。把形状补全分支也打开,完整模型仍有 23.7 FPS。需要说明,比的是同一块 RTX 4090、batch size 为 1、分割与 RGB-D 输入都相同条件下的模型推理速度,不代表整套机器人系统的运行帧率。
图 4|ROPE 精度与延迟的权衡。K 为 GenPose++候选数量,红星为 F2G-Pose;两幅图分别展示 IoU AUC@50 与 VUS@5°2cm。
换句话说,直接预测未必得拿精度换速度。只要 RGB-D 表示能把视觉和几何信息充分整合起来,一次前向传播照样能出较高质量的结果。
各模块起什么作用,消融实验做了进一步验证。在 ROPE 上,去掉 RGB 视觉特征之后,
还有一点值得留意:形状补全并非与位姿估计无关的附加功能。哪怕最终只要位姿结果,训练时引入完整三维几何监督,依然能帮模型学到更可靠的物体表示。另外,在
04|从数据集走向真实机器人
离线评测准,不等于机器人就一定能完成操作。
于是研究团队又搭了真实机器人实验平台,使用
测试对象是瓶子、杯子、碗、锤子、平底锅等常见物体。系统依据估计出的位姿和尺寸,确定抓取接近方向与放置目标,再用补全形状辅助碰撞检查。
真机实验给感知决策留出的时间预算是 50 毫秒,每种方法各跑 80 次测试。
F2G-Pose 完整模型在 80 次测试里成功完成 68 次抓取与放置,成功率 85%,平均感知延迟约 36 毫秒,落在设定的实时预算之内。36 毫秒这一数字取自真机实验的感知延迟统计,与前面基准测试中的 FPS 不是同一套实验口径。作为对照,GenPose++ 的完整采样流程完成 57 次放置,平均延迟却达到 256 毫秒;把它的耗时压到约 50 毫秒后,成功放置次数降到 45 次。
这些结果说明,放到机器人部署场景里,位姿估计不能只看离线精度。预测要花多久、输出稳不稳定、下游规划模块能不能可靠地用上最终结果,同样是关键指标。
F2G-Pose 并不直接学习抓取策略,也不是端到端的机器人模型。它做的是为后续规划和操作提供更及时、更准确的物体几何状态,因此可以当作一个相对独立的感知模块,接入不同的机器人系统。
05|让机器人更好地理解三维世界
当然,仅凭单帧 RGB-D 感知,仍有做不到的地方。
F2G-Pose 当前要求输入已经分割好的物体区域。一旦分割结果不准、深度信息大量缺失,或者关键结构被挡住,预测就可能受到干扰。碰上高度对称、纹理又少的物体,单个视角也很难把方向歧义彻底消掉。
尤其在跨数据集的条件下,想要实现高精度的三维几何对齐,难度依然不小。
不过这项工作的价值在于验证了一条值得继续走下去的路线:机器人最终要用的几何状态,可以靠基础视觉特征与三维几何的联合学习直接预测出来,推理阶段不必始终依赖复杂的候选生成与筛选。
机器人正一步步走进更开放、更多样的真实环境,怎样从有限的观测中快速拿到可靠的三维信息,会一直是具身感知的重要课题。
围绕这个问题,F2G-Pose 给出了一套兼顾精度、效率与实际部署需求的技术方案。
作者介绍
张晋瑜是上海创智学院与复旦大学联合培养的博士生,方向为具身智能。他的研究集中在具身智能和机器人学习两块,主要关注