杨哲轩谈数据编译:结构化语言如何让机器人重新进入真实世界

资讯 AI 行业观察 全文 5588 字 · 约 14 分钟读完 配图 7 张 分类机器人

▲从一只瓷杯到可复用的数据资产——编译发生在每一次操作之后。 桌上摆着几只茶杯。采集者戴上头戴设备,把杯子逐一拿起、移开,再放回原位。设备记录了连续视频和惯性测量单元(IMU)数据。看上去,动作已经被完整保存。可一旦任务结束,这段经验通常也就结束了。它没有自然地变成下一次可以调用的能力。 但在杨哲轩看来,问题恰恰在这里

所属频道 机器人与具身智能

杨哲轩谈数据编译:结构化语言如何让机器人重新进入真实世界(配图 1)

一只瓷杯能变成可复用的数据资产,前提是编译发生在每次操作之后。

桌上放了几只茶杯。采集者戴上头戴设备,把杯子一个个拿起来、挪开,再放回原处。连续视频和惯性测量单元(IMU)数据都被设备记了下来。看起来,动作已经完整留存。然而任务一结束,这段经验往往就到此为止,并不会顺理成章地变成下一次能调用的能力。

杨哲轩的看法是,问题恰好出在这里:动作被记录下来,不过是开头。视频讲清了发生过什么,却没告诉模型下一步怎么做。动力学、意图、空间关系,以及失败后怎么恢复,这些它都没有。要把一次整理茶杯的动作变成可复用的智能,系统还得把任务拆成步骤,用结构化语言对齐,再把手的姿态、运动轨迹和动作意图补回去。

他的判断很明确:“我的判断,语言,特定地说,结构化的语言,才是唯一可以对齐的东西。”在杨哲轩看来,只有先把任务写成模型能理解、能检索、能复用的结构,物理世界里的动作才有可能从一次性经验,变成下一次可以调用的智能。

杨哲轩谈数据编译:结构化语言如何让机器人重新进入真实世界(配图 2)

桌上放着几只茶杯。动作被记录下来,仅是开始。

具身智能眼下正走向数据规模化,采集的量上得很快,可真正高质量的数据缺口一点没小。36氪今年5月的一篇报道曾引用业内普遍看法:要训练出具备通用泛化能力的具身模型,数据量起码得达到千万小时级别;而到2026年初为止,全球高质量真实物理交互数据加起来只有约50万小时,连大语言模型训练数据的万分之一都不到(原文写的是两万分之一,此处按原文保留:不足两万分之一)。

杨哲轩打过一个更直观的现场比方:外购1000小时数据,筛完之后可能只剩约100小时能用。采集规模和有效供给之间,横着一道要靠工程能力填平的鸿沟。

智域基石想补的正是这套结构。公司把自己摆在采集和模型训练中间,靠Physical AI DBMS和物理因果模型,把真实任务里的多模态观测编译成可训练、可评测、可查询、可复用的操作级数据资产。目标还不止于此——让物理世界的每个动作都成为可复用的智能,让具身智能重新走进工厂、商场、家庭和其他真实场景,成为能承担具体任务的劳动力。

数据与模型学习需求之间存在三重错位

杨哲轩并不认为数据会因“采够了”而贬值。模型每往前一步,新的短板就冒出来,数据需求也跟着变。就像考试不断出新题,模型进入真实工作环节后,也会不断提出新问题。

说到底,现有数据和模型之间还有不少错位。

最直接的一重错位在学习对象上。视频记下了物体在哪儿、手动过什么,却未必包含模型需要理解的物体状态变化、动作后果、操作顺序、失败恢复和接触关系。智域基石内部把模型在操作层面要掌握的能力归成十类。杨哲轩认为,模型在这些方面普遍欠缺,而只记录画面的视频不会自动给出答案。

杨哲轩谈数据编译:结构化语言如何让机器人重新进入真实世界(配图 3)

同一段经验被拆成画面、轨迹与接触关系,三份记录却常常对不上。

第二重错位出在任务分布上。标准化采集场地最容易扩量:一个2000平方米的场地,按每个工位约10平方米算,能安排约200人。可模型在这里学会“怎么拿起一个物体”,换到商场、厨房或工厂,照样可能不知道怎么办。杨哲轩说,这类场地容易起量,却很难带来场景泛化性。

第三重错位源于本体差异。人和机器人、不同机器人之间,身体结构、动作空间、控制方式都不一样;人类数据要复用到机器人身上,得经过相机标定、任务Schema定义、动作映射和本体适配。Physical Intelligence去年12月的一项研究也发现,只有预训练数据在场景、任务和本体上足够多样,人类视频向机器人的迁移能力才会显现。

杨哲轩谈数据编译:结构化语言如何让机器人重新进入真实世界(配图 4)

同一只杯子,人和机器看到的并不是同一个位置。

这正是智域基石重点盯住、也在积极摸索的方向:怎么缩短human-to-robot的embodiment gap,让人类攒下的动作经验能被不同机器人理解、映射和复用。这道鸿沟一旦缩短,受影响的就不只是某个任务或某一类机器人,具身智能把数据规模转成实际能力的效率也会跟着变。

杨哲轩判断,到今天为止,还算相对确定的一件事是scaling会继续发生。再往下拆,关键就是找更陡的scaling斜率,让模型能力以更低的成本往上长。

所以两类数据的分工并不一样。人类第一视角数据容易规模化,主要服务预训练阶段在场景、任务和动作上的泛化;真机数据更贴近具体本体和执行反馈,适合特定任务的后训练。杨哲轩举例说,要把某个具体任务的成功率继续往上推,就一定得采真机数据做后训练。

那会儿OpenAI第二次组建机器人模型研究团队后的人事变动、Anthropic发布Fable 5.2这些事,外界还都不知道。杨哲轩当时聊的话题,已经越过了单个模型、单次发布,落到语言和数据结构怎样充当具身智能的底座上。再往后,行业里的公开动作一件接一件冒出来,回过头看,那更像是提前给出的一次行业判断。

行业这边,中国信通院等机构8月发布的报告提到,到今年6月底,全国建成并启用的具身智能训练场已经超过70家。不过中国信通院与清华大学电子工程系等单位10月联合发布的《具身智能发展报告(2026年)》同样提到,具身智能目前还处在向试点应用过渡的阶段。

判断数据有没有效,看的是它能不能覆盖模型要学的能力;采集时长本身不算判据。行业要争的,也从采得更多转向留下更有训练价值的部分。

数据编译:从观测记录到操作级资产

杨哲轩认为,观测级数据和操作级数据的核心差别,在于有没有一套结构化体系把数据对齐。缺的不是更多标签,而是一套能把不同信号放进同一坐标系的语言。用他的话说:“我的判断,语言,特定地说,结构化的语言,才是唯一可以对齐的东西。”于是智域基石选择用结构化语言组织任务,同时补上动力学、空间位置和运动意图等信息,并已据此搭起并应用了五环节数据编译管线。

还是拿整理茶杯来举例。视频进了管线,头一道关是数据质检:丢帧的、IMU漂移的、关键动作被挡住的、操作不合规的片段,统统筛掉;外部服务商产出的数据也得过这一关。过关之后是数据底座重构,系统把便于写入的录制数据转成读写平衡的自研中间格式(IR),多模态数据的时间基准和空间坐标也在这一步统一。

杨哲轩谈数据编译:结构化语言如何让机器人重新进入真实世界(配图 5)

▲编译管线:左端是未经整理的观测,右端是可检索、可交付的数据资产。

制造业还有另一面,就是质检。产品出厂前要检,数据交付前也一样。杨哲轩说:“自动化做不到全流程无人。”所以智域基石把基于模型的自动化、人在环的多级质检和统计抽检,摆到了同一条生产线上。

再往下是数据编译这个核心环节。任务先被拆成多个步骤,再和语言对齐;手部姿态、6DoF位姿、空间轨迹、深度、运动意图在这一步被还原出来,注入数据。据智域基石介绍,编译好的数据能按场景、物体、技能等条件做智能检索和组配,最后按客户要求的格式标准化打包交付。

撑起这条管线的,是四层架构:观测级数据输入、Physical AI DBMS、物理因果模型、操作级数据输出。

Physical AI DBMS是公司内部的数据底座,管的是异构数据的组织、索引和版本追溯。杨哲轩是数据库出身,在他看来,自动质检、标注算法、物理因果模型的运行都靠这个底座撑着,不然系统扛不住工作负载。物理因果模型管的是理解任务本身——阶段怎么分、状态怎么变、物理接触在哪、失败原因是什么、恢复路径怎么走,最终输出训练数据集、基准、场景数据包、评估资产和可复用的任务模板。

外界常把数据生意看成劳动密集型行当,杨哲轩不这么看:“数据其实是一个有高科技属性的制造业。”劳动密集是这门生意的特点,但不等于没有壁垒。高科技属性就体现在手部姿态生成和轨迹提取上。手把作业的重要区域遮住时,信息提不出来,只能靠模型还原,这得有大量无遮挡数据来训练,再用真值去验证。“这个工作不是说我组织一大堆人就能解决,需要你有卡、有数据、有算法人才。”

制造业的那一面落在质检上。产品出厂前要质检,数据交付前也一样,自动化没法完全闭环。“很多同行都在宣称100%自动化标注与质检,这是做不到的。如果你能做到了,就意味着模型不需要你的数据了。”杨哲轩说。智域基石的做法,是把自动化和多级质检、统计抽检搭在一起。

说到底,数据编译是一门有技术门槛的制造业。它不是简单清洗、贴标签,而是靠数据库工程、物理因果理解、算法和质量控制,把一次性的观测记录稳定加工成模型能用的数据资产。

数据编译的能力边界

编译之后,原始观测数据变成了可训练、可评测的操作级数据资产。但这不等于数据能直接驱动机器人干活。杨哲轩强调,编译后的数据“还没有走到机器人层面”,不是能直接下发给任意机器人的控制指令。各家的机器人在身体结构、动作空间、控制系统上都有差异,数据要进到具体机器人的训练和应用里,还得做本体适配。

这也就意味着,跨本体复用不是把同一份数据或动作指令直接拷到不同机器人上。真正能复用的,更多是任务定义、失败分类、观测规则、质量门禁和恢复模式这些方法和经验。它们能给不同本体的数据生产和训练当参考,但具体的数据处理和动作映射,还得结合机器人自身的特点来做。

除了本体差异,数据来源本身也决定了适用范围。人类第一视角数据记的是人的操作过程,场景和任务多样性是它的优势,主要给预训练阶段的泛化能力打底;真机数据更贴近特定机器人本体和它的实际执行反馈,适合围着具体任务做后训练。两类数据对应不同的训练需求,替代不了彼此。

这些技术边界,也划出了智域基石的业务边界。公司主营方向不是机器人本体和通用基础模型研发,但模型训练也不是完全不碰。团队会做小规模预训练,用来评测自产数据的效果;同时靠参数规模不大的模型保持对模型需求的理解,验证新的技术想法。

“我觉得我们公司,包括我的职业生涯、我的基因,应该是不会去大规模做预训练的。”杨哲轩说。他更希望公司未来在大规模后训练上发力,帮机器人进入具体场景完成真实任务。

对智域基石来说,数据编译的核心工作,是把物理世界的操作经验转成模型能用的数据资产。至于模型怎么掌握这些经验、又怎么变成机器人的实际能力,还得靠模型研发和本体适配等环节一起完成。

从一次性采集,走向持续的真实任务供给

数据编译要持续转起来,就得不断有真实任务进来。智域基石在官网上提了“真实任务网络”的构想,想把产业园区、机器人企业、模型团队和科研机构连起来,让任务入口、作业环境、机器人本体和模型需求接进同一套数据体系。

目前公司两条腿走路:真机数据和人类第一视角数据同时采,外部服务商参与生产,内部团队负责任务定义、加工和验收。杨哲轩觉得,做数据难的不是雇多少人,而是能不能站在模型训练的角度先把任务定义好。这也是公司坚持在真实场景里采真实任务和动作的原因。

硬件是另一笔投入。智域基石自研了ArcheGo系列可穿戴采集设备,分双目和六目两个版本,覆盖头戴主视角和双腕。杨哲轩坦言,做硬件是为了把物理规律、物体接触这些信息更完整地送进数字世界。

杨哲轩谈数据编译:结构化语言如何让机器人重新进入真实世界(配图 6)

▲智域基石自研的ArcheGo系列可穿戴采集设备(双目/六目)。

谁在为操作级数据付费

智域基石现在的客户主要有三类:国内外专注预训练的基础模型公司、头部具身智能企业,以及有预训练需求的机器人本体厂商。这些客户看重的不是采集时长,而是来自真实场景、能进训练和评测流程的数据资产。

数据的定价逻辑也跟着变了。杨哲轩认为,数据价格被一再压低,很大程度是因为有效率太低。“我从你这儿买了1000小时,最后要花人去质检、花人去处理,筛选下来可能就10个小时,所以你只能无限地去压这个价格。”另一边,模型公司的查重能力越来越强,重复的数据几乎带不来提升。

模型团队为什么还要找第三方?自己搭队伍不是不行,可跨任务、跨本体的数据要持续产出,就得长期砸人砸钱,更难的是判断下一步到底该要什么数据。

杨哲轩打了个比方:“数据这个事情特别像服装行业。大家都卖衣服,但是有些衣服流入大卖场,有些衣服进到高档商场,想做到后者,需要提前预判下一季流行什么。”照他的说法,队伍得自己懂模型,摸得清模型能力的边界,也看得准它往后往哪走。

第三方能提供的,是把这些真正要紧的能力做成能持续交付的服务。从行业里看到的情况看,手里有垂直场景和敏感数据的大型产业方,未必乐意对外开放,杨哲轩判断,它们更可能在自己的体系里把数据闭环做完。

因为对客户摸得比较透,智域基石眼下选择从项目入手:按客户的训练需求划定任务、组织采集,再把编译好的任务数据集和评估资产按客户要求打包,直接送到客户算力所在的地方。杨哲轩把这层关系说成“数据跟着算力走”。

不过公司不打算一直只交数据。任务和数据越攒越多之后,智域基石计划进一步下场参与模型部署,围着真实场景做大规模后训练,把数据编译的能力伸到模型训练、部署和执行反馈里头,帮机器人在具体环境里干更复杂、更稳的活。

这些事最后都指向同一个目标:让物理世界里的动作经验能被模型继承下来,推着具身智能重新走进真实世界,变成能扛具体任务的劳动力。

数据竞争的下一阶段

具身智能的数据赛道刚经历一轮快速扩张,接下来的变化,可能会落在几个层面上。

最先变的,可能是采购方式。模型团队对数据有没有效的判断越来越成熟,采购数据就不再按采集小时算钱,会慢慢转向看任务覆盖、数据质量和训练价值。

采购逻辑一改,供给结构也跟着动。人类第一视角、真机和仿真数据会围绕不同的训练阶段互相补位,数据供给不再依赖单一采集方式,而是走向多源协同。

再往下,产业分工也可能被重新划一遍。专业第三方的数据编译服务,和大型场景方内部的闭环,很可能长期并行,数据基础设施则会慢慢变成连接真实任务与模型训练的关键一环。

杨哲轩谈数据编译:结构化语言如何让机器人重新进入真实世界(配图 7)

▲下一阶段比的不是谁采得多,而是谁的斜率更陡。

这些判断还得靠时间来检验。智域基石正在做的,是把物理世界里的每一次操作,都变成模型能学、能评、能持续复用的资产。具身智能的数据竞争已经进入下一阶段,比的或许不再是采集量,而是谁能真正把数据编译成智能。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 星舰第15次试飞:B22与S42首演双回收未成,墨西哥湾落幕

    11月14日消息,美国中部时间2026年11月13日下午,SpaceX“星舰” 第15次试飞成功升空。此次任务使用超重型助推器 B22 号和飞船 S42 号,原计划首次实现助推器与飞船双双返回发射场并由发射塔机械臂实施空中捕获回收,同时部署 26 颗第三代星链卫星。但任务并未完全按计划推进。助推器未能按计划返回发射场,

    来源 TechWeb
  2. SpaceX星舰第15次试飞升空:飞船入轨,助推器未返场

    【TechWeb】11月14日消息,美国中部时间2026年11月13日下午,SpaceX“星舰”(Starship)第15次试飞成功升空。此次任务使用超重型助推器 B22 号和飞船 S42 号,原计划首次实现助推器与飞船双双返回发射场并由发射塔机械臂实施空中捕获回收,同时部署 26 颗第三代星链卫星。但任务并未完全按计

    来源 腾讯网
  3. 黄仁勋离任引不满:英伟达机器人工程师辞职

    【TechWeb】11月16日消息,英伟达机器人工程师Darrell Dai(戴达瑞)已通过个人X账号宣布辞职。他在帖子中解释,离职的核心原因是对公司前CEO黄仁勋(Jensen Huang)的离任方式感到失望,认为公司在此事上缺乏透明度和

    来源 TechWeb
  4. 国家统计局:10 月份我国工业机器人产量同比增长 26%,新能源汽车产量增长 17.1%

    IT之家 11 月 16 日消息,据新华社报道,国家统计局新闻发言人付凌晖在 11 月 16 日举行的国新办新闻发布会上说,今年 10 月份,我国装备制造业和高技术制造业支撑明显,工业机器人产量同比增长 26.0%,3D 打印设备、锂离子电池产量同比分别增长 85.9%、30.0%。 10 月份,规模以上工业增加值同比

    来源 AI 行业观察
  5. Beni跟拍机器人国内开卖4999元:大疆系团队打造,时速28.8km/h

    海外众筹打破机器人历史纪录的跟拍机器人,Beni,国内正式开售了。 官方定价标准版4999元,一部旗舰手机的价格。 能跑、能跳、能原地翻跟头,两只大眼睛忽闪忽闪的。 如果只是会做这些动作,它充其量也就是个昂贵的高级遥控大玩具。 最离谱的是—— 它能给你拍vlog。 跑步、滑板、带娃……管你在户外干啥,它就在后面贴地狂奔

    来源 AI 行业观察
  6. 戴士钦离开英伟达:黄仁勋辞职令他格外失望

    IT之家 11 月 16 日消息,英伟达机器人学习工程师戴士钦(Darrell Dai)昨日发文,宣布将离开公司。戴士钦表示,他眼中的黄仁勋不只是英伟达 CEO,他钦佩黄仁勋投资那些一下子看不到明确前景的未来技术。在深度学习热潮到来之前,黄仁勋就已投入 CUDA,并在人工智能成为所有人关注焦点之前布局 AI 领域。这些

    来源 腾讯网
  7. 马斯克披露星舰V4细节:箭体约70米,发动机增至9台

    马斯克此次披露的核心信息包括:星舰V4箭体长度将增至约70米,推进剂装载量提升超过60%,发动机数量增至9台,并新增3台猛禽真空版发动机。尺寸上,V3星舰长度约为52米,V4增至约70米,增幅约40%;推进剂装载量提升超过60%,意味着单次飞行可携带更多推进剂进入轨道。此次披露发生在SpaceX近期一次星舰试飞之后,该

    来源 TechWeb
  8. 马斯克披露星舰V4方案:70米箭体、9台发动机,运力再升级?

    马斯克此次披露的核心信息包括:星舰V4箭体长度将增至约70米,推进剂装载量提升超过60%,发动机数量增至9台,并新增3台猛禽真空版发动机。尺寸上,V3星舰长度约为52米,V4增至约70米,增幅约40%;推进剂装载量提升超过60%,意味着单次飞行可携带更多推进剂进入轨道。此次披露发生在SpaceX近期一次星舰试飞之后,该

    来源 TechWeb
  9. 36氪创意项目征集大赛TOP10揭晓:274个项目投稿,煎蛋AI登顶

    一个好项目,值得被更多人看见。 历时一个月,36氪第一期创意项目征集大赛正式落下帷幕。从项目报名、内容发布,到公开投票、榜单评选,本次活动吸引了来自不同领域的创业团队参与。经过为期9天的公开投票,第一期TOP10项目现已正式揭晓。 本次活动共收到274个项目投稿,项目覆盖AI、机器人、硬科技、消费、企业服务、医疗健康、

    来源 AI 行业观察
  10. SpaceX星舰第15次试飞:双回收首秀,助推器改海面溅落

    IT之家 11 月 14 日消息,美国太空探索技术公司重型运载火箭“星舰”于美国中部时间 13 日下午从得克萨斯州发射升空,实施第 15 次试飞。 此次试飞将首次尝试助推器和飞船均返回发射场,由发射塔机械臂实施“捕获”回收。 不过,SpaceX 在热分离后不久就表示超重型助推器已偏航并在近海溅落着陆,空中捕获任务已取消

    来源 AI 行业观察
  11. SpaceX星舰首次被机械臂空中接住,数万亿估值叙事添关键一环

    SpaceX首次用发射塔机械臂在空中接住星舰飞船,创造航天史上轨道返回飞船塔架回收先例。Bernstein分析师认为此举是支撑SpaceX数万亿美元估值的关键一步——完全复用将大幅压低入轨成本,直接提升星链部署效率与商业天花板。摩根士丹利警示市场低估了此次任务价值,将显著降低商业复用与AI太空算力扩张的执行风险。

    来源 华尔街见闻
  12. 华为云CloudRobo-WM1.2亮相:机器人“大脑”自研后与模型公司竞争?

    华为云开始亲自下场训练具身智能的“大脑”。11月16日,在华为云CloudRobo具身世界模型发布会上,华为云正式发布昇腾原生具身世界模型CloudRobo-WM1.2,并宣布将其开源。这款模型能够在理解物理环境的基础上预测未来变化,并直接生成机器人动作。按照华为云披露的测试结果,其在RoboTwin 2.0、LIBE

    来源 腾讯网
  13. 机器人进退货仓:双臂开始抓衣服,森马天猫退货率51.70%

    (本文作者为 具身志,钛媒体经授权发布)文 | 具身志双11结束了,有些订单已经签收了,有些已经开始往回寄了。对消费者来说,消费者只需要在手机上申请退货,把包裹交给快递员,这笔订单已经结束。但对商家来说,后面的工作才刚刚开始。以衣服为例,那些退回来的包裹,要被送进仓库,经过核对、质检、分类、整理,再重新进...

    来源 腾讯网
  14. 又一家机器人公司陷入危机

    导读THECAPITAL潮水退去,才知道谁在裸泳!本文3545字,约5分钟作者 | 戴贤超 编辑 | 吾人来源 | 融中财经近日,有媒体报道称阿米奥机器人原CTO、COO、产品负责人均已离职,团队从峰值约130人收缩到70余人,新一轮人员优化还在进行。这家由小米汽车前智驾量产负责人刘方创立、安克创新领投的工业具身智能公

    来源 腾讯网
向下滚动自动加载更多