苹果HALO验证仿真训练路线,群核联手禾赛推3D空间相机补数据短板
作者|苏涵 最近,相信大家都被苹果 HALO 给刷屏了。 其 HALO 系统主要依靠虚拟环境生成的数据进行训练,在未接触真实测试环境的情况下,实现了向训练中未见、部署前未经扫描或....
这个成绩让外界看到,仿真训练有机会让机器人少在真实环境里反复试错,仿真路线的重要性也跟着往上走。近几年,全球玩家都在抢空间仿真与合成数据基础设施的位置,盯的是机器人 Sim2Real 迁移这道核心壁垒。
英伟达用 Isaac Sim 做机器人仿真布局;国内也有企业盯着高保真仿真与合成数据,或者尝试拿大规模合成数据训练机器人模型。国内这批玩家里,群核科技动手最早,2018 年就发布了全球最大的室内场景深度学习数据集 InteriorNet。
之后,公司先后铺开空间理解、空间生成和 3D 高斯重建,把技术能力延伸到空间智能训练服务。近日它又往数据生产的源头走了一步,把原本相对独立的空间采集能力收进自己的技术体系:11 月 9 日,群核科技与禾赛科技发布联名 3D 空间相机 Aholo x Kosmo One,用激光雷达加 8K 影像采集真实场景,直连群核旗下的空间重建平台 Aholo Reality 完成 3DGS 重建和智能编辑,加快空间数据、空间智能在各领域的落地。
Aholo x Kosmo One 3D 空间相机
从早期三维数据积累,到空间生成模型、真实场景重建,再到仿真训练与产业应用,群核这几年的动作一直围着同一件事转:缩小 Sim2Real 的差距,做物理 AI 的数据基础设施。当越来越多企业去争机器人本体和模型能力时,数据生产、空间理解、仿真训练这条线上,另一场竞争也在铺开。
物理 AI 最缺的可能不是模型。让机器人认出一把椅子,现在或许不算难事;但要它在陌生客厅里绕过椅子、躲开茶几,再伸手拿起桌上的水杯,就是另一回事了。
而是数据
机器人得识别物体,还得看懂空间关系、判断哪里能走,并且掌握接触、碰撞这些物理规律。这些日常动作看着简单,背后是对真实世界的理解。麻烦在于,互联网记下了海量文字和图像,却没按同样的规模记录物理世界。大语言模型靠互联网攒下的文本和图像成长,物理 AI 要的是理解空间结构、物体关系和物理规律。
黄晓煌是群核科技的联合创始人兼董事长,他近日在一封内部信里提到,空间智能眼下最难迈过的一道坎在数据上,根本原因在于物理世界被数字化的那部分实在少得可怜。具身智能机器人想在真实环境里自己做任务,影视行业想用 AI 把虚拟场景做出来,商业空间和文旅文博领域想做数字化升级,这些事都缺不了对真实世界的高精度三维还原。
传统二维图像之外,能表达空间几何、物体位置、尺度关系和环境细节的三维数据,正成为 AI 理解物理世界的重要基础。怎么高效、低成本地拿到高质量真实空间数据,再把它变成 AI 能理解、产业能复用的数字资产?这是当前空间智能产业发展绕不过去的关键问题。
这也让空间采集硬件与三维重建平台越走越近。近几年,群核科技、影石创新、禾赛科技等产业链企业开始试软硬件结合的路子,想压低真实空间数字化的成本和门槛。
这次群核与禾赛的联名款 Aholo x Kosmo One,把激光雷达、影像系统和高精度 IMU 装进一台设备。激光雷达管空间测量,摄像头记录颜色与纹理,IMU 为设备运动估计提供信息,再经过同步、标定和融合,把不同来源的数据纳入统一的空间参照体系。
采集到的数据与群核 Aholo Reality 平台原生打通。原始数据进平台后,空间对齐、点云融合和 3DGS 重建可以自动完成。依靠自研 3DGS 重建算法,在已测试的专业设备链路中,Aholo Reality 能做到采集时长与重建耗时约 1:2,高效完成三维场景重建。
对物理 AI 来说,把三维场景快速重建出来只是开头。3DGS 重建做的,更多是把物理世界长什么样在视觉上还原出来。
机器人还得看懂物体是什么、空间怎么摆、哪里会撞上,才能在虚拟环境里走起来、动起来。三维场景怎么变成能直接拿去训练 AI 的 SimReady 数据,成了行业绕不开的需求。
群核科技也在往这个方向走,把空间理解能力和 3DGS 技术放在一起做。2025 年,群核开源了带几何语义信息的 3D 高斯数据集 InteriorGS,想让 3DGS 场景不光看着像,还能对应到具体物体和它的几何信息。这个数据集开源后很快冲到 HuggingFace 数据集榜首,业内对这条技术路线的认可可见一斑。
图:机器人在虚拟场景中识别、理解空间
之后群核又开源了基于 3D 高斯的 VLN 具身学习数据集 SAGE-3D,继续试把 3D 高斯场景和碰撞体结合起来,让它能支撑具身导航的训练与评测。
放到行业里看,这类研究说明 3DGS 的用法在变:早先拼的是视觉重建效果,现在慢慢转向支撑空间理解和机器人交互。
顺着这条路,Aholo Reality 平台已经攒下不少 3D 高斯场景编辑本事:自动识别、语义分割、智能对象编辑、智能补洞。同一处空间采集重建完,除了拿去做空间设计、数字孪生,还能补上语义标注和物理属性,继续适配机器人训练,数据可以不断更新、反复使用。
图:Aholo Reality 平台的语义分割能力
拿一家真实门店来说,采集设备能把墙面、货架、桌椅、商品陈列都还原出来。但要拿去训练机器人,还得进一步弄懂场景里有哪些对象、彼此什么空间关系,再按具体任务补上对应属性。物体的位置可以挪,物品也能替换。经过空间理解、识别和结构化处理,原本主要用来看的三维场景,才进得了仿真系统,成为能继续加工、调用的训练环境。
空间数据从重建走向应用,这是关键的一步。
从三维数据到世界模型,
Sim-to-Real 的差距怎么缩小?
放在整条生态链里看,群核科技的位置不好替代。它不是从零去找空间数据,手上早有多年攒下的三维数据和空间技术底子。
酷家乐平台这些年沉淀了大量三维场景和模型,群核科技的相关探索起步不算晚。
2018 年发布的 InteriorNet,给室内场景深度学习提供了大规模数据基础;后来推出的 Structured3D,接着试怎么把房屋、房间、墙面、门窗这些空间信息结构化表达出来。这些早期工作,给后面的空间理解和具身智能研究垫了底。
沿着这个方向,群核科技的技术探索一路往外延:先攒三维空间数据,再让模型理解和生成场景,接着试怎么把它变成机器人能学、能交互的环境。
数据来源上,群核已经跑出两条互补的路。
一条是靠 Aholo Reality 以及禾赛、影石等合作采集设备拿真实空间数据;另一条是用自研空间生成模型 SpatialGen 和 3D 生成模型 Lux3D 造出更多样的虚拟环境和资产,补上真实采集一时覆盖不到的空间布局和场景变化。
真实采集给出现实世界的参照,生成模型负责把数据规模和环境多样性撑大。说到底,就是让数字世界和物理世界不断对齐,让数字世界接住更多物理世界的信号。
具身智能对训练数据的需求往上走,空间数据的用法也开始从场景重建延伸到仿真训练。
2024 年,群核推出 SpatialVerse,为物理 AI 训练提供合成数据服务。它的价值不只在给出三维场景,还把空间数据、仿真环境和训练应用接到了一起:一边通过数据生产和加工持续供给更丰富的空间资产,一边让机器人和智能体在虚拟环境里低成本试错、跑任务训练。
训练完还有另一个问题要答:机器人到底学得怎么样?模型在哪些场景容易翻车?它在虚拟环境里练出来的能力,能不能搬到现实世界?
图:机器人在工厂场景训练
仿真和现实之间的差距怎么缩小,产业界和学术界都在试,把数据采集、仿真训练和能力评测捏到一起。
群核和业内伙伴的探索,走的就是「从能训练,到能评估,再到能闭环」这条路。在 CVPR 上,群核与宇树科技等提出 Arcadia 框架,想把真实采集、仿真重建、统一学习、部署反馈串成一个训练闭环。
思路大致是:机器人在真实环境里采到的数据,可以接着用来搭仿真训练环境;仿真里训练、验证之后,再把优化过的能力部署回现实,靠新的反馈继续改。
物理仿真和空间智能评测这块,群核还与英伟达等合作了高保真仿真器 SPEAR,重点试更真实的虚拟环境怎么搭;与宇树科技、浙江大学等合作的 WalkerBench,则试着把真实街景引进交互式空间智能评测,给衡量智能体在复杂空间里理解和行动的能力提供参照。
对机器人公司来说,用仿真平台低成本拿到更多训练场景,把真实环境里难以反复测试的长尾任务覆盖进去,还能提前暴露模型和控制策略的毛病,研发和验证的花费自然能压下来。机器人也就在这个过程中,一点点填平 Real-to-Sim-to-Real 之间的沟。
机器人抢「大脑」,群核想当物理 AI 时代的「卖水人」
把物理 AI 产业链摊开看,主线不止「大脑」和「身体」两条。还有一层常被忽略的基础设施:让 AI 认识物理世界、在虚拟世界里学本事、最后回到现实中验证,靠的是数据和工具体系。这层东西可能长期受益。
群核科技盯上的就是这一层。
苹果 HALO 带来的启发是,机器人可以在虚拟环境中学会现实世界的部分本事。但这类迁移不会自己发生。
虚拟世界够不够真、数据够不够多、场景能不能被机器理解和交互,这些都决定了训练结果能不能真正落地。
从生意定位看,人形机器人也好,移动机器人也好,面向工业、商业、家庭的智能设备也好,只要得理解空间、搭仿真环境、做训练和评测,就可能对三维空间数据和相关工具链产生需求。
群核想做「卖水人」,逻辑就在这:不掺和每一场机器人本体的竞争,而是给不同路线的物理 AI 企业提供数据基础和空间能力。
这套能力还不只用在机器人训练上。真正的数据飞轮得靠真实场景不断落地来驱动,而买群核这杯「空间智能」之水的人遍布千行百业,他们的落地给飞轮送来源源不断的数据。
影视短剧要拿真实空间的数字化重建当 3D 片场;游戏制作要可编辑的三维资产;文旅文博要对建筑和文化遗产做数字化保存;XR 和 AI 眼镜起来后,空间智能还有望成为下一代人机交互的重要基础。这些领域里,群核已经跟华策影视、PICO、遨森电商等各行业龙头在谈合作。
3D 片场生成的 AI 短剧场景
各产业需求不一样,但底层都绕不开真实空间的采集、重建、理解和再利用。这么看,Aholo x Kosmo One 的意义就不只是出了一款联名硬件。
它把真实空间采集和 Aholo Reality 的重建、理解、编辑能力接在一起;再叠上 SpatialGen、Lux3D 等生成能力,以及 SpatialVerse 承接的仿真训练和评测探索,群核正试着把真实空间到数字空间、再从数字空间回到真实应用的多个环节串起来。
不过,技术环节连起来,到真正形成一个能持续转的数据闭环,中间还有数据标准、不同应用场景的适配、真实反馈能不能持续用于模型改进这些问题要解决。
这也跟黄晓煌在内部信里提的方向对得上:空间智能要规模化落地,先得把数据基础设施这一环补上。
群核打算靠真实采集和空间生成两条路持续拿数据,再用重建、理解、训练和应用形成循环,最终做成 AI 通往物理世界的入口。
越来越多企业抢机器人「大脑」和「身体」的时候,空间智能的竞争也在往更广的产业延伸。从空间采集、理解到生成与应用,它的价值不只在服务机器人训练,更在于把数字世界和物理世界之间的连接打通。