F2G-Pose:机器人如何一次前向搞定位姿尺寸与完整形状?

资讯 腾讯网 作者:机器之心 全文 3494 字 · 约 9 分钟读完 分类机器人

机器人想要拿起桌上的杯子,首先需要知道什么?识别出「这是一个杯子」,显然还不够。它还需要判断杯子在哪里、朝向如何、实际有多大,才能为后续抓取和操作提供可靠的空间信息。对于人类,这些判断往往不需要刻意思考。但对于机器人,尤其是面对从未见过的物体实例时,问题远没有那么简单:物体可能被部分遮挡,深度相机只...

所属频道 机器人与具身智能

机器人要把桌上的杯子拿起来,得先弄清哪些信息?只认出「这是一个杯子」远远不够。杯子在哪儿、朝哪个方向、实际尺寸多大,这些空间信息都得掌握,后续抓取和操作才有可靠依据。



对人来说,这类判断基本不用费心。换成机器人,情况就复杂了,碰到没见过的物体实例尤其如此:物体可能被遮住一部分,深度相机能拍到的表面有限,同一类物体之间的形状也可能差得很远。类别级 6D 物体位姿估计(Category-Level 6D Pose Estimation)要做的就是这件事——不靠每个物体单独的 CAD 模型或参考图像,直接从视觉观测里推断物体的三维位置和旋转方向。



近日,复旦大学与上海创智学院的研究团队提出 F2G-Pose(Geometry-Aware Foundation Feature Lifting),相关成果已被接收。



  • 论文: F2G-Pose: Geometry-Aware Foundation Feature Lifting for Direct

  • 会议:

  • 研究单位:

  • 论文链接: https://arxiv.org/abs/2610.31623

  • 项目主页: https://jrryzh.github.io/F2G-Pose/

  • 代码仓库: https://github.com/jrryzh/F2G-Pose


和那些需要反复生成候选姿态的做法不同,F2G-Pose 走的是更直接的一条路:输入一帧经过目标分割的图像,直接给出 6D 位姿、真实尺寸,以及相机坐标系下的补全三维形状。


在 RTX 4090 上,关掉形状补全分支后,该模型的推理速度达到 28 FPS,多个基准测试里也拿到了领先的结果。团队还把系统装到真实机械臂上跑过,验证了预测结果在机器人操作中的实际价值。



01|位姿估计的难点,不只是找到正确答案


现有的类别级位姿估计方法,大体可以归为两条技术路线。


其中一类先借助规范坐标、几何对应关系或形状先验搭出中间表示,再把它转成物体的最终位姿。这条路推理效率通常不错,可一旦物体被遮挡、深度信息缺失,或者形状变化比较大,中间预测的误差就可能一路传到最终结果上。


另一类则把位姿的不确定性显式建模出来。以


这种思路有它的道理:物体只被看到一部分时,确实可能存在好几种合理的姿态解释。不过团队注意到一个更值得深挖的问题——能生成准确的候选姿态,并不代表最后就一定能挑出准确的那个结果。


论文对


对需要持续感知、实时执行的机器人来说,精度和延迟之间的这笔账尤其关键。


于是团队抛出了一个问题:


能否让网络直接从


动图 1|同一帧内位姿预测结果与真实标注的对照。


02|F2G-Pose:把二维视觉特征送进三维空间


直接回归位姿,这个思路并不新鲜。难的是另一件事:只看到物体的局部时,网络怎么才能建出足够可靠的三维表示?F2G-Pose 给出的做法是,视觉基础模型负责提供语义和外观线索,深度点云负责提供真实的几何约束,两者再放到同一个网络里一起推理。


图 1|F2G-Pose 的整体架构:视觉特征提升、局部几何编码、MoE Transformer,以及位姿、尺寸、形状预测。


第一步,是把视觉基础特征提升到三维空间。


模型用的是冻结的


经过这一步,每个三维点除了空间坐标,还带上了所在区域的视觉信息。


比如深度信息能反映物体表面的几何起伏,视觉特征则能补上纹理、部件和语义方面的线索。把两者合在一起,比只用 RGB 或只用深度都更利于判断物体在空间里的真实状态。


之后,F2G-Pose 用


再往后,借助


局部特征能帮模型看清表面细节,可位姿估计要的是对物体的整体理解:哪些结构之间存在关联,哪些部件能用来区分朝向,眼前看到的这部分又怎样拼成完整物体。


F2G-Pose 靠 Transformer 把这些信息汇总起来,并加入


网络里放了 8 个专家,每个 Token 会动态挑出其中 2 个来参与运算。这么一来,面对复杂多样的物体几何,模型能用比较有限的计算开销做出更灵活的建模。


还有一层:除了估计位姿,物体的完整形状也得学出来。这是 F2G-Pose 设计里的另一块重头。



在共享的物体表示之上,网络分出两条并行的路子:一条直接回归物体的旋转、平移和真实尺寸;另一条拿观测到的局部点云作输入,一点点把物体的三维形状补全。


补全形状走的是由粗到细的路子,最后给出 2048 个三维点,这些点直接落在相机坐标系里,不必再做规范空间到相机空间的对齐。


动图 2|相机坐标系下的形状补全展示。


这等于给下游模块提供了一个近似的几何输出。更关键的是,形状补全本身成了训练位姿估计网络的一种几何监督——模型没法只靠有限的外观特征去猜物体朝向,它还得学会把可见表面和整体三维结构对应起来。


到头来,位姿、尺寸和形状都由同一套


03|更快,也更准:多项实验验证方法有效性


研究团队先在


在


衡量三维包围盒匹配质量,用的就是下面这些指标。

  • 在 SOPE 上,F2G-Pose 拿到 43.7,

  • ROPE


图 3|ROPE 定性结果:RGB 输入、位姿真值、GenPose++、F2G-Pose 与预测形状。


论文采用统一推理测试协议。这一条件下,GenPose++ 运行速度约 4 FPS;F2G-Pose 只做位姿估计时能跑到 28 FPS,约为前者的 7 倍。把形状补全分支也打开,完整模型仍有 23.7 FPS。需要说明,比的是同一块 RTX 4090、batch size 为 1、分割与 RGB-D 输入都相同条件下的模型推理速度,不代表整套机器人系统的运行帧率。


图 4|ROPE 精度与延迟的权衡。K 为 GenPose++候选数量,红星为 F2G-Pose;两幅图分别展示 IoU AUC@50 与 VUS@5°2cm。


换句话说,直接预测未必得拿精度换速度。只要 RGB-D 表示能把视觉和几何信息充分整合起来,一次前向传播照样能出较高质量的结果。


各模块起什么作用,消融实验做了进一步验证。在 ROPE 上,去掉 RGB 视觉特征之后,


还有一点值得留意:形状补全并非与位姿估计无关的附加功能。哪怕最终只要位姿结果,训练时引入完整三维几何监督,依然能帮模型学到更可靠的物体表示。另外,在


04|从数据集走向真实机器人


离线评测准,不等于机器人就一定能完成操作。


于是研究团队又搭了真实机器人实验平台,使用


测试对象是瓶子、杯子、碗、锤子、平底锅等常见物体。系统依据估计出的位姿和尺寸,确定抓取接近方向与放置目标,再用补全形状辅助碰撞检查。



真机实验给感知决策留出的时间预算是 50 毫秒,每种方法各跑 80 次测试。


F2G-Pose 完整模型在 80 次测试里成功完成 68 次抓取与放置,成功率 85%,平均感知延迟约 36 毫秒,落在设定的实时预算之内。36 毫秒这一数字取自真机实验的感知延迟统计,与前面基准测试中的 FPS 不是同一套实验口径。作为对照,GenPose++ 的完整采样流程完成 57 次放置,平均延迟却达到 256 毫秒;把它的耗时压到约 50 毫秒后,成功放置次数降到 45 次。


这些结果说明,放到机器人部署场景里,位姿估计不能只看离线精度。预测要花多久、输出稳不稳定、下游规划模块能不能可靠地用上最终结果,同样是关键指标。


F2G-Pose 并不直接学习抓取策略,也不是端到端的机器人模型。它做的是为后续规划和操作提供更及时、更准确的物体几何状态,因此可以当作一个相对独立的感知模块,接入不同的机器人系统。


05|让机器人更好地理解三维世界


当然,仅凭单帧 RGB-D 感知,仍有做不到的地方。


F2G-Pose 当前要求输入已经分割好的物体区域。一旦分割结果不准、深度信息大量缺失,或者关键结构被挡住,预测就可能受到干扰。碰上高度对称、纹理又少的物体,单个视角也很难把方向歧义彻底消掉。


尤其在跨数据集的条件下,想要实现高精度的三维几何对齐,难度依然不小。


不过这项工作的价值在于验证了一条值得继续走下去的路线:机器人最终要用的几何状态,可以靠基础视觉特征与三维几何的联合学习直接预测出来,推理阶段不必始终依赖复杂的候选生成与筛选。


机器人正一步步走进更开放、更多样的真实环境,怎样从有限的观测中快速拿到可靠的三维信息,会一直是具身感知的重要课题。


围绕这个问题,F2G-Pose 给出了一套兼顾精度、效率与实际部署需求的技术方案。


作者介绍


张晋瑜是上海创智学院与复旦大学联合培养的博士生,方向为具身智能。他的研究集中在具身智能和机器人学习两块,主要关注

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. WISE2026年度人物名册发布:产业攻坚者名单与方向

    在世界尚未完成的地方,在关键产业的深水区,人们通过行动留下各自的回答。一个人的名字,由此有了属于他自己的分量。“在行动和言说中,人们表明了他们是谁。”汉娜·阿伦特在《人的境况》中讨论人的独特性,而商业世界习惯以浪潮辨认一代人。人工智能、具身智能、硬科技,几个词便能勾勒当下创业的轮廓。2026年,这些词正在落到具体的人身

    来源 腾讯网
  2. 陪伴机器人绕不开的坎:心言“巴布”靠软件基因破局?

    (本文作者为 机器最前线,钛媒体经授权发布)文 | 机器最前线近年来,情感陪伴正从私人感受变成消费事实。据国金证券数据显示,2025年中国陪伴经济市场规模已超500亿元,2026年预计突破800亿元;中国青年报社的调查显示,有47.3%的人在孤独时会进行虚拟陪伴类消费,有21.5%已将其变成日常习惯。在此背景下,不少机

    来源 腾讯网
  3. 贝佐斯再创业:410亿美元估值押注物理世界AI

    卸任亚马逊CEO五年后,贝佐斯联合创立Prometheus,估值飙升至410亿美元。这家公司不造聊天机器人,而是试图用AI重构实体制造业,打造“通用AI工程师”。文章解析其技术路径、数据困境及背后的资本野心,探讨AI从比特世界向原子世界迁移的真实挑战。

    来源 AI 应用前沿
  4. 亚马逊拦下Grok Bot:马斯克回应,网友帮忙起名

    新智元报道 AI刚学会替你干活,亚马逊、摩根大通、嘉信理财就开始堵门了!10月18日,@trikcode在X上列出了一份「AI碰壁清单」,点名达美航空、摩根大通、嘉信理财、Yelp和亚马逊。他吐槽:那些本该替我们搞定一切的AI智能体,开始被互联网挡在门外。人愿意买,AI愿意跑腿,但最后一公里却卡在了平台不肯放行上!而亚

    来源 腾讯网
  5. APEC会场机器人上岗:做咖啡、递糖果还包收桌

    这届APEC,最忙的可能不是参会嘉宾,而是一群机器人。 11月18日至19日,2026年APEC领导人非正式会议在深圳举行。 全球目光聚焦深圳,国际大佬们忙着开会,媒体记者们忙着报道,而在会场新闻中心,一批特殊的“打工人”已经悄悄上岗。 有的做咖啡,有的打冰淇淋,有的端茶送水,还有的负责收拾桌面。 更离谱的是,它们不仅

    来源 AI 行业观察
  6. 中国开源模型的「最大甲方」有了

    作者 | 郑敏芳互联网大厂们正在成为开源大模型的新甲方。腾讯总裁刘炽平在三季度业绩电话会上透露,WorkBuddy已成为中国几乎所有开放权重模型的最大客户。这可能只是一个开始。近期,国内头部办公Agent密集调整产品策略。继腾讯WorkBuddy率先采用多模型路线后,字节跳动旗下豆包工作接连扩大第三方模型接入范围,阿里

    来源 腾讯网
  7. Genesis AI两年融资42亿:只造40台机器人,估值233亿

    只造了约40台机器人,Genesis AI就拿下了5亿美元融资。 11月17日,这家硅谷机器人公司宣布完成5亿美元(约33亿元)A轮融资,投后估值达到35亿美元,约合人民币233亿元。 投资人名单相当豪华:英伟达、AMD Ventures、三星Next、HSG等机构入局,还有谷歌前CEO施密特、Zoom CEO袁征、雅

    来源 AI 行业观察
  8. 深夜,美股AI血崩,英伟达市值已跌去2.7万亿美元

    智东西(公众号:zhidxcom)编译 | ZeR0编辑 | 漠影智东西11月21日消息,一夜之间,美股惨遭“黑色星期五”,对AI泡沫加剧的担忧引发华尔街抛售潮,恐慌情绪集中爆发,美国科技股一片哀嚎,英伟达股价暴跌14%,戴尔暴跌11%,Anthropic暴跌9%,甲骨文、SpaceX、特斯拉暴跌8%,Meta暴跌6%

    来源 腾讯网
  9. 灵掌机器人太空灵巧手亮相世界智能制造博览会

    11月19日至21日,第十一届世界智能制造博览会(以下简称“智博会”)在南京国际博览中心举办。无锡灵掌机器人科技有限公司(以下简称“灵掌机器人”)携全系列共9款灵巧手产品参展,重点展示了灵巧手在工业制造、太空任务、特种作业、科研与人形机器人等行业领域的落地场景及解决方案。 灵掌机器人创始人兼首席执行官张超介绍,灵巧手是

    来源 AI 行业观察
  10. 李彦宏的“最紧迫”与雷军的“热想象”

    APEC时间,科技掌门人谈了什么?作者/ IT时报 孙妍 综合报道编辑/ 孙妍 11月17日至18日,2026年亚太经合组织(APEC)工商领导人峰会在深圳前海国际会议中心举行。作为亚太经合组织第三十三次领导人非正式会议的配套活动,峰会由中国贸促会主办,主题为“共促繁荣,共赢未来”,2000余位政商代表参会,参会企业包

    来源 腾讯网
  11. 蚂蚁集团上半年赚152亿:AI三线并进,支付、应用与机器人齐发力

    11月19日,阿里2026年三季度财报披露,上半年从蚂蚁集团获收益50.23亿元,据此推算蚂蚁上半年利润约152亿元,同比增约17%。增长主要得益于公允价值收益净增加,部分被科技及新增长举措投入抵消。CEO韩歆毅重申保持高强度AI投入,推动技术向多元场景渗透,今年以来蚂蚁围绕构建底座、打造应用等布局。

    来源 AI 产业速递
  12. Mistral在新加坡设亚太总部:2027年员工扩至200人

    法国人工智能初创公司Mistral已在新加坡设立亚太总部,旨在满足该地区对“主权人工智能”(sovereign AI)能力日益增长的需求。Mistral周五表示,计划到2027年将亚太地区的员工人数增加一倍以上,达到200人,招聘领域涵盖科学、工程、人工智能应用及机器人技术。该公司称,这一战略投资将助力其实现加速开发、

    来源 AI 行业观察
  13. Meta拿下81.3%份额,中国AI眼镜为何仍陷混战

    作者:相青;编辑:赵元今年双11,雷鸟、夸克等都拿到了AI眼镜的第一名。雷鸟创新宣布登顶京东智能眼镜与 XR 设备两大品牌榜榜首,阿里夸克称夸克AI眼镜S1开售即登顶XR设备双11热卖榜TOP1。从整个中国市场来看,至今还没有一家厂商占据绝对优势。Omdia数据显示,2026年上半年,中国AI眼镜市场排名前三的阿里、影

    来源 腾讯网
  14. 李在明视察SK蔚山数据中心:AI竞赛速度至关重要

    IT之家 11 月 21 日消息,据路透社报道,当地时间 21 日,韩国总统李在明前往韩国东南部城市蔚山,视察当地一座在建数据中心,并敦促韩国加快在全球 AI 竞赛中的步伐。“全世界都在竞相角逐,速度至关重要。”数据中心是芯片需求的重要来源。李在明希望,SK 建设的蔚山项目能够取得成功,进而吸引全球 AI 企业加大投资

    来源 腾讯网
  15. 亚马逊封堵AI购物助手,马斯克放话:也许该做个对手

    AI刚学会替你干活,亚马逊、摩根大通、嘉信理财就开始堵门了! 10月18日,@trikcode在X上列出了一份「AI碰壁清单」,点名达美航空、摩根大通、嘉信理财、Yelp和亚马逊。 他吐槽: 那些本该替我们搞定一切的AI智能体,开始被互联网挡在门外。 人愿意买,AI愿意跑腿,但最后一公里却卡在了平台不肯放行上! 而亚马

    来源 AI 行业观察
向下滚动自动加载更多