苹果HALO验证仿真训练路线,群核联手禾赛推3D空间相机补数据短板

资讯 腾讯网 作者:腾讯网 全文 4923 字 · 约 13 分钟读完

作者|苏涵 最近,相信大家都被苹果 HALO 给刷屏了。 其 HALO 系统主要依靠虚拟环境生成的数据进行训练,在未接触真实测试环境的情况下,实现了向训练中未见、部署前未经扫描或....

苹果 HALO 最近刷了不少人的屏。这套系统训练时用的主要是虚拟环境生成的数据,在没碰过真实测试环境的条件下,完成了向训练中未见、部署前未经扫描或建图的真实环境的零样本迁移;在六个陌生真实环境里做了 360 次单项任务测试,平均成功率 91%。

这个成绩让外界看到,仿真训练有机会让机器人少在真实环境里反复试错,仿真路线的重要性也跟着往上走。近几年,全球玩家都在抢空间仿真与合成数据基础设施的位置,盯的是机器人 Sim2Real 迁移这道核心壁垒。

英伟达用 Isaac Sim 做机器人仿真布局;国内也有企业盯着高保真仿真与合成数据,或者尝试拿大规模合成数据训练机器人模型。国内这批玩家里,群核科技动手最早,2018 年就发布了全球最大的室内场景深度学习数据集 InteriorNet。

之后,公司先后铺开空间理解、空间生成和 3D 高斯重建,把技术能力延伸到空间智能训练服务。近日它又往数据生产的源头走了一步,把原本相对独立的空间采集能力收进自己的技术体系:11 月 9 日,群核科技与禾赛科技发布联名 3D 空间相机 Aholo x Kosmo One,用激光雷达加 8K 影像采集真实场景,直连群核旗下的空间重建平台 Aholo Reality 完成 3DGS 重建和智能编辑,加快空间数据、空间智能在各领域的落地。

Aholo x Kosmo One 3D 空间相机

从早期三维数据积累,到空间生成模型、真实场景重建,再到仿真训练与产业应用,群核这几年的动作一直围着同一件事转:缩小 Sim2Real 的差距,做物理 AI 的数据基础设施。当越来越多企业去争机器人本体和模型能力时,数据生产、空间理解、仿真训练这条线上,另一场竞争也在铺开。

物理 AI 最缺的可能不是模型。让机器人认出一把椅子,现在或许不算难事;但要它在陌生客厅里绕过椅子、躲开茶几,再伸手拿起桌上的水杯,就是另一回事了。

而是数据

机器人得识别物体,还得看懂空间关系、判断哪里能走,并且掌握接触、碰撞这些物理规律。这些日常动作看着简单,背后是对真实世界的理解。麻烦在于,互联网记下了海量文字和图像,却没按同样的规模记录物理世界。大语言模型靠互联网攒下的文本和图像成长,物理 AI 要的是理解空间结构、物体关系和物理规律。

黄晓煌是群核科技的联合创始人兼董事长,他近日在一封内部信里提到,空间智能眼下最难迈过的一道坎在数据上,根本原因在于物理世界被数字化的那部分实在少得可怜。具身智能机器人想在真实环境里自己做任务,影视行业想用 AI 把虚拟场景做出来,商业空间和文旅文博领域想做数字化升级,这些事都缺不了对真实世界的高精度三维还原。

传统二维图像之外,能表达空间几何、物体位置、尺度关系和环境细节的三维数据,正成为 AI 理解物理世界的重要基础。怎么高效、低成本地拿到高质量真实空间数据,再把它变成 AI 能理解、产业能复用的数字资产?这是当前空间智能产业发展绕不过去的关键问题。

这也让空间采集硬件与三维重建平台越走越近。近几年,群核科技、影石创新、禾赛科技等产业链企业开始试软硬件结合的路子,想压低真实空间数字化的成本和门槛。

这次群核与禾赛的联名款 Aholo x Kosmo One,把激光雷达、影像系统和高精度 IMU 装进一台设备。激光雷达管空间测量,摄像头记录颜色与纹理,IMU 为设备运动估计提供信息,再经过同步、标定和融合,把不同来源的数据纳入统一的空间参照体系。

采集到的数据与群核 Aholo Reality 平台原生打通。原始数据进平台后,空间对齐、点云融合和 3DGS 重建可以自动完成。依靠自研 3DGS 重建算法,在已测试的专业设备链路中,Aholo Reality 能做到采集时长与重建耗时约 1:2,高效完成三维场景重建。

对物理 AI 来说,把三维场景快速重建出来只是开头。3DGS 重建做的,更多是把物理世界长什么样在视觉上还原出来。

机器人还得看懂物体是什么、空间怎么摆、哪里会撞上,才能在虚拟环境里走起来、动起来。三维场景怎么变成能直接拿去训练 AI 的 SimReady 数据,成了行业绕不开的需求。

群核科技也在往这个方向走,把空间理解能力和 3DGS 技术放在一起做。2025 年,群核开源了带几何语义信息的 3D 高斯数据集 InteriorGS,想让 3DGS 场景不光看着像,还能对应到具体物体和它的几何信息。这个数据集开源后很快冲到 HuggingFace 数据集榜首,业内对这条技术路线的认可可见一斑。

图:机器人在虚拟场景中识别、理解空间

之后群核又开源了基于 3D 高斯的 VLN 具身学习数据集 SAGE-3D,继续试把 3D 高斯场景和碰撞体结合起来,让它能支撑具身导航的训练与评测。

放到行业里看,这类研究说明 3DGS 的用法在变:早先拼的是视觉重建效果,现在慢慢转向支撑空间理解和机器人交互。

顺着这条路,Aholo Reality 平台已经攒下不少 3D 高斯场景编辑本事:自动识别、语义分割、智能对象编辑、智能补洞。同一处空间采集重建完,除了拿去做空间设计、数字孪生,还能补上语义标注和物理属性,继续适配机器人训练,数据可以不断更新、反复使用。

图:Aholo Reality 平台的语义分割能力

拿一家真实门店来说,采集设备能把墙面、货架、桌椅、商品陈列都还原出来。但要拿去训练机器人,还得进一步弄懂场景里有哪些对象、彼此什么空间关系,再按具体任务补上对应属性。物体的位置可以挪,物品也能替换。经过空间理解、识别和结构化处理,原本主要用来看的三维场景,才进得了仿真系统,成为能继续加工、调用的训练环境。

空间数据从重建走向应用,这是关键的一步。

从三维数据到世界模型,

Sim-to-Real 的差距怎么缩小?

放在整条生态链里看,群核科技的位置不好替代。它不是从零去找空间数据,手上早有多年攒下的三维数据和空间技术底子。

酷家乐平台这些年沉淀了大量三维场景和模型,群核科技的相关探索起步不算晚。

2018 年发布的 InteriorNet,给室内场景深度学习提供了大规模数据基础;后来推出的 Structured3D,接着试怎么把房屋、房间、墙面、门窗这些空间信息结构化表达出来。这些早期工作,给后面的空间理解和具身智能研究垫了底。

沿着这个方向,群核科技的技术探索一路往外延:先攒三维空间数据,再让模型理解和生成场景,接着试怎么把它变成机器人能学、能交互的环境。

数据来源上,群核已经跑出两条互补的路。

一条是靠 Aholo Reality 以及禾赛、影石等合作采集设备拿真实空间数据;另一条是用自研空间生成模型 SpatialGen 和 3D 生成模型 Lux3D 造出更多样的虚拟环境和资产,补上真实采集一时覆盖不到的空间布局和场景变化。

真实采集给出现实世界的参照,生成模型负责把数据规模和环境多样性撑大。说到底,就是让数字世界和物理世界不断对齐,让数字世界接住更多物理世界的信号。

具身智能对训练数据的需求往上走,空间数据的用法也开始从场景重建延伸到仿真训练。

2024 年,群核推出 SpatialVerse,为物理 AI 训练提供合成数据服务。它的价值不只在给出三维场景,还把空间数据、仿真环境和训练应用接到了一起:一边通过数据生产和加工持续供给更丰富的空间资产,一边让机器人和智能体在虚拟环境里低成本试错、跑任务训练。

训练完还有另一个问题要答:机器人到底学得怎么样?模型在哪些场景容易翻车?它在虚拟环境里练出来的能力,能不能搬到现实世界?

图:机器人在工厂场景训练

仿真和现实之间的差距怎么缩小,产业界和学术界都在试,把数据采集、仿真训练和能力评测捏到一起。

群核和业内伙伴的探索,走的就是「从能训练,到能评估,再到能闭环」这条路。在 CVPR 上,群核与宇树科技等提出 Arcadia 框架,想把真实采集、仿真重建、统一学习、部署反馈串成一个训练闭环。

思路大致是:机器人在真实环境里采到的数据,可以接着用来搭仿真训练环境;仿真里训练、验证之后,再把优化过的能力部署回现实,靠新的反馈继续改。

物理仿真和空间智能评测这块,群核还与英伟达等合作了高保真仿真器 SPEAR,重点试更真实的虚拟环境怎么搭;与宇树科技、浙江大学等合作的 WalkerBench,则试着把真实街景引进交互式空间智能评测,给衡量智能体在复杂空间里理解和行动的能力提供参照。

对机器人公司来说,用仿真平台低成本拿到更多训练场景,把真实环境里难以反复测试的长尾任务覆盖进去,还能提前暴露模型和控制策略的毛病,研发和验证的花费自然能压下来。机器人也就在这个过程中,一点点填平 Real-to-Sim-to-Real 之间的沟。

机器人抢「大脑」,群核想当物理 AI 时代的「卖水人」

把物理 AI 产业链摊开看,主线不止「大脑」和「身体」两条。还有一层常被忽略的基础设施:让 AI 认识物理世界、在虚拟世界里学本事、最后回到现实中验证,靠的是数据和工具体系。这层东西可能长期受益。

群核科技盯上的就是这一层。

苹果 HALO 带来的启发是,机器人可以在虚拟环境中学会现实世界的部分本事。但这类迁移不会自己发生。

虚拟世界够不够真、数据够不够多、场景能不能被机器理解和交互,这些都决定了训练结果能不能真正落地。

从生意定位看,人形机器人也好,移动机器人也好,面向工业、商业、家庭的智能设备也好,只要得理解空间、搭仿真环境、做训练和评测,就可能对三维空间数据和相关工具链产生需求。

群核想做「卖水人」,逻辑就在这:不掺和每一场机器人本体的竞争,而是给不同路线的物理 AI 企业提供数据基础和空间能力。

这套能力还不只用在机器人训练上。真正的数据飞轮得靠真实场景不断落地来驱动,而买群核这杯「空间智能」之水的人遍布千行百业,他们的落地给飞轮送来源源不断的数据。

影视短剧要拿真实空间的数字化重建当 3D 片场;游戏制作要可编辑的三维资产;文旅文博要对建筑和文化遗产做数字化保存;XR 和 AI 眼镜起来后,空间智能还有望成为下一代人机交互的重要基础。这些领域里,群核已经跟华策影视、PICO、遨森电商等各行业龙头在谈合作。

3D 片场生成的 AI 短剧场景

各产业需求不一样,但底层都绕不开真实空间的采集、重建、理解和再利用。这么看,Aholo x Kosmo One 的意义就不只是出了一款联名硬件。

它把真实空间采集和 Aholo Reality 的重建、理解、编辑能力接在一起;再叠上 SpatialGen、Lux3D 等生成能力,以及 SpatialVerse 承接的仿真训练和评测探索,群核正试着把真实空间到数字空间、再从数字空间回到真实应用的多个环节串起来。

不过,技术环节连起来,到真正形成一个能持续转的数据闭环,中间还有数据标准、不同应用场景的适配、真实反馈能不能持续用于模型改进这些问题要解决。

这也跟黄晓煌在内部信里提的方向对得上:空间智能要规模化落地,先得把数据基础设施这一环补上。

群核打算靠真实采集和空间生成两条路持续拿数据,再用重建、理解、训练和应用形成循环,最终做成 AI 通往物理世界的入口。

越来越多企业抢机器人「大脑」和「身体」的时候,空间智能的竞争也在往更广的产业延伸。从空间采集、理解到生成与应用,它的价值不只在服务机器人训练,更在于把数字世界和物理世界之间的连接打通。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 盖茨再谈AI风险:比核武器更危险,呼吁提前建机制

    “AI当然比核武器更危险。”近日,比尔·盖茨在美国哥伦比亚广播公司(CBS)的播客《好问题》中警告,过去一年,AI模型已经跨过一些危险门槛,社会和政府却还没有做好准备。从2023年宣告“AI时代已经开始”、强调风险可以管理,到今年8月发文提醒世界为动荡做准备,盖茨的警告越来越急迫。“达到人类的智能水平之后,它也不会停下

    来源 腾讯网
  2. 双十一主播性价比之争:李佳琦卖Token,贾乃亮单日5.7亿

    文/厚码双十一这场从十月就开跑的超长马拉松,终于迎来尾声。消费者可能最先崭露出疲态。看直播、领券、算赠品、比较到手价,为了少花一点钱,要先投入难以量化的时间。大主播们倒还在制造新闻。先是贾乃亮10月21日被报道单日带货突破5.7亿元,刷新自己近三年的单日纪录,再是李佳琦则在11月2日卖起了Token,0.01元的千问办

    来源 腾讯网
  3. 双11直播间Token热卖:半小时约2万亿Token成交

    Token被视为AI的燃料,AI每读一份文件、写一段话、出一张图、剪一条视频,都要消耗Token。几个月前,买Token还是圈子里的技术动作;如今,它已经成为消费者触手可及的商品。今年双11,直播间里最抢手的新品就是没有实物,没有包装,也不用等快递的Token。如今,我国生成式AI用户已破7亿,当Token像日用品一样

    来源 腾讯网
  4. AI生图为何要在噪声空间反复迭代?数据空间迭代给出新解法

    你有没有想过,AI生成一张图片,到底是怎么从一堆随机噪点,变成一只蓝色小鸟的?现在主流的生成模型,比如Flow Matching流匹配模型,走的是一条看起来很优雅的路:从纯噪声出发,沿着一条数学上连续的"流",一步步走到真实图片。这条路理论上无限平滑,但现实很骨感,想走完它往往需要几十次甚至上百次计算。这就像从北京走.

    来源 腾讯网
  5. Signal加密协议完成AI数学验证:形式化验证成本能降多少

    Signal的端到端加密协议完成了一项为期四周的AI辅助形式化验证,用数学方法检验其核心加密逻辑的正确性。这项实验的意义不止于Signal本身:它显示AI有望大幅降低形式化验证的门槛与成本,让这种过去只有少数专家才能驾驭的“数学体检”逐步走向工程实践。

    来源 AI 科技快讯
  6. Radical Numerics推离线模型:断网也能识别AI工程病原体

    WIRED报道,初创公司Radical Numerics开发了一种可在无互联网连接环境下识别自然与AI工程病原体的模型。本文梳理其潜在价值、技术挑战与生物安全治理议题,并分析离线AI为何可能成为生物防御体系的重要补充。

    来源 AI 科技快讯
  7. 自然资源部:2030年打造智能化国土空间治理基础平台

    据央视新闻今日报道,自然资源部、国家发展改革委近日发布关于“人工智能 + 自然资源”的实施意见。意见明确分阶段发展目标:到 2028 年,实现人工智能在自然资源领域的示范应用;到 2030 年,人工智能深度融入自然资源管理全链条,集成打造智能化国土空间治理基础平台。

    来源 IT之家
  8. BudgetPix:给AI画图装一个“省电模式”,天空少花钱,细节多花钱

    你有没有想过一件事:现在的AI画图模型,在生成一张图的时候,是不是把力气花得很均匀?答案是,太均匀了,均匀到有点浪费。一张512乘512的图片,天上飘着大片白云和晴空,地上站着一面国旗。现在主流的像素空间扩散模型会把这张图切成整整齐齐的小方块,每个方块16乘16像素,一共1024块,然后对每一块都投入同样的计算资源去.

    来源 腾讯网
  9. AI生成人脸怎么认?PNAS研究:训练大脑识别“平均脸”,准确率翻倍

    上图为AI人脸,下图为真实人脸。(图片来源:StyleGan3;Flickr)撰文 | 山姆·麦克唐纳(Sam Macdonald)过去,我们往往一眼就能辨别出一张脸是否是由人工智能(AI)生成。无论是特别诡异的光泽、过于光滑的皮肤、怎么看都不太对劲的眼睛,还是显眼的第三只耳朵,早期AI模型生成的人脸很容易被识破而不被

    来源 腾讯网
  10. AI生成3D物体为何一操作就穿模:ARTISAN用物理模拟把关

    2024年前后,如果你让一个顶尖的AI模型生成一个3D微波炉模型,它大概率能做出一个看起来惟妙惟肖的微波炉。门是对的形状,旋钮在对的位置,颜色纹理都很逼真。但如果你把这个模型丢进物理模拟器,让门打开试试,你会看到一件尴尬的事:门穿过了机身。不是贴着机身转,是直接穿模而过,像鬼魂一样从固体中间滑过去。这不是个...

    来源 腾讯网
向下滚动自动加载更多