星忆智能宋知珩:订单达千万级后,具身数据的瓶颈在标注处理

资讯 腾讯网 作者:腾讯网 全文 5148 字 · 约 13 分钟读完

作者丨薛皓皓编辑丨子钺头图丨星忆智能当具身大脑公司加速自建数据管线,第三方数据公司的竞争力在哪里?星忆智能创始人宋知珩认为,数据公司的竞争力主要来自两端:一端在采集,依靠硬件、场景和人员组织能力压低数据采集成本;另一端在算法,提升标注精度和数据处理效率。星忆智能选择押注后者。宋知珩团队不仅向客户提供...

头图由星忆智能提供。

具身大脑公司纷纷自建数据管线,第三方数据公司靠什么立足?

在星忆智能创始人宋知珩看来,数据公司的竞争力集中在两端:采集端靠硬件、场景和人员组织把数据采集成本压下来;算法端则提升标注精度和数据处理效率。星忆智能押的是后一端。

宋知珩团队给客户提供的不只是第一人称人类数据采集。更关键的是,他们的技术能把数据处理和标注做得相当高效,处理完的数据可以直接作为训练数据喂给具身模型。“我们拥有高效的手势及人体姿态处理及标注的技术。”宋知珩说。

Open AI GPT6 Astra已经展现出对物理世界的理解能力,李飞飞把World Labs卖给了AMD,物理AI的技术路线正加快收敛。具身模型和多模态模型谁更能理解物理世界,目前还没有定论。但两条路线都离不开训练数据,对具身数据的需求都很明确。

星忆智能透露,目前手里订单已经到“千万级”的量。客户里既有做具身模型的公司,也有原本做大语言模型、现在转向多模态的通用模型公司。Being(智在无界)的H0.8隐式触觉视觉模型,关键数据就由星忆智能提供;另外公司还跟京东有较深的合作。京东那边有采集硬件、成规模的人员和场景,星忆智能接的是数据处理和标注的活——一边管“数据从哪儿来”,一边管“数据怎么让模型学会”。

2026(第二十届)DEMO CHINA期间,创业邦和宋知珩聊了一次。作为一线创业者,他围绕具身数据公司的核心壁垒、数据采集与标注的难点、第一人称人类数据的价值等话题,讲了自己的观察和思考。

星忆智能创始人宋知珩。

从人形整机

到数据创业

创业邦:你在智元机器人时负责哪部分工作?

宋知珩:人形整机的产品经理。整机产品定义,还有数据采集、遥操作和二次开发的收敛、管理,都归我们这边。

创业邦:从做人形整机到出来做数据创业,这个转变是怎么发生的?

宋知珩:在智元的时候,我能看到中美在机器人叙事上的差异。中国一开始更像先把本体做好,让全世界都能用中国的本体去做算法;美国上来就做具身大脑,所以在数据和模型上投入更早。到2025年那个时间点,中美在模型、数据上的差距已经比较明显,到今天也仍然有差距。

所以出来创业,我们想解决行业最需要解决的问题。

创业邦:为什么你认为行业最需要解决的是数据问题?

宋知珩:具身模型能不能训好,很大程度上要看这个行业有没有大规模、高质量的数据。李飞飞做ImageNet之前,大家拼的都是图像算法;等ImageNet这种大规模数据集出来,算法迭代就快了很多。在我们看来,数据是当中最关键的变量,所以创业就从数据切入,先把这块做扎实。

创业邦:李飞飞创办的World Labs被

宋知珩:我觉得这首先是一个信号:大厂开始更大力度地进入世界模型领域,技术路线确实在加速收敛。

如果聚焦具身世界模型,我认为整个行业的技术路线还没有真正收敛,但收敛速度确实在加快。

李飞飞这一步,我认为算阶段性的成功。对研究者也好、创业公司也好,最后得把商业化落地跑通,才算完整的成功。不过进了AMD,她不用再花大量精力在融资和公司经营上,可以借大公司的资源,把技术和产品更充分地往前推。这么看,这已经是个不错的阶段性结果。

第三方数据公司

有自己的生态位

创业邦:很多本体公司、具身智能公司都在自建数据管线。客户自己会采集、清洗和训练,第三方数据公司的空间在哪里?

宋知珩:我们接触的客户,其实都想把整套体系自己建起来,这没问题。特别是模型训练的时候,视频怎么切、怎么切成clip(片段),后面怎么清洗、怎么做后处理,客户总归要自己再动一动,所以这部分永远会是一条比较基础的管线。

我们则更集中在数据标注这一块。数据大致分两种:一种是手部姿态、人体姿态,还有多模态里触觉这类数据的标注;另一种是场景语义标注。

语义这块,大模型谁都能上手,大厂尤其拿手。手部姿态、人体姿态这类标注,才是团队相对擅长的方向。

创业邦:换句话说,客户自己搭的是基础管线,星忆智能接手的是里面更难的处理环节?

宋知珩:可以这么看。切分、清洗、后处理这些活由客户自己做,数据资产和训练闭环也必须攥在客户手里。星忆智能不铺开做全流程,只盯数据处理和高精度标注。

团队此前在手部、人体姿态识别上攒了多年经验。字节旗下 Pico 是国内头部 VR 厂商,其手势技术相关基模就出自团队核心成员之手。

创业邦:具身智能数据里,第一人称人类数据、遥操作数据、仿真合成数据三种并存。星忆智能为什么押注第一人称人类数据?

宋知珩:团队盯的是人类数据,第一人称数据又在其中占的分量很重。

机器人该向谁学操作?团队反复琢磨这个问题,答案是从人身上学。世界由人创造,人每天做大量操作。把这些过程记录下来,把人的行为数据蒸馏出来喂给模型,在团队看来几乎是唯一走得通的路。

这条路踩中了具身数据的三个要素。其一,能规模化,成本压得住,来源足够大;其二,能在真实场景中泛化,各种场景都能采,让模型见够多样性;其三,对模型有实打实的增益。

创业邦:那是不是说,第一人称人类数据能顶替真机遥操作和仿真数据?

宋知珩:在人类操作逻辑、理解世界这一层,人类数据的作用很关键;真机数据也还是会用一些。

人类数据跨本体,学的是这个世界的操作逻辑和操作规律;真机数据更多用来让模型理解并适应当前这台机器人本体。团队判断,将来整个训练可能由 90%—99% 的人类数据加极少量真机数据完成。

仿真则不同,它卡在模型预训练完成之后、真机部署之前,是很重要的一环。仿真能帮上强化学习,让真机少出问题,但能带来的新增智能有限。

行业瓶颈

采集之外

处理同样关键

创业邦:行业里人人都在说“高质量数据”,星忆智能怎么定义?

宋知珩:这事其实不复杂。数据最终是拿去训模型的,哪种数据对模型增益最明显,哪种就算高质量。

其中有些能量化,有些不太能。平均关键点误差、位姿精度都能量化;精度要够高、模态要够丰富,这些也能量化。

难的是 diversity,也就是多样性。抓过一个杯子,又抓过一个手机,这两组数据本质差别在哪?模型最终学的数据集要够泛化、覆盖各种场景,可不同数据之间的差异边界在哪,行业至今没研究透。

眼下通行的做法是把海量数据灌进模型训练,人工只做基础的多样性判别,最后仍以模型学到的多样性为准。这事得一直追下去。

星忆智能核心算法

围绕核心算法的数据采集与处理基础设施

创业邦:这么说,精度、多样性、模态丰富度之外,归根到底还得看数据进模型后的表现?

宋知珩:对。数据有没有让模型获得更明显的增益,这才是最要紧的判断。

创业邦:高质量数据从哪来?数据处理在这里究竟解决什么问题?

宋知珩判断,从整个行业来看,数据积累不会变成关键卡点。训练往后走,可能需要1亿到10亿小时的数据。他算过一笔账:10万人每天采5小时、采200天,就能凑出1亿小时。这几个数字本身并不大。

真正的大瓶颈会落在数据处理上。他提到,某公有云平台上的具身数据里,经过精细处理、能够反复拿去训练模型的还不到5%。

真实场景里的麻烦不少:高速运动、低光照、噪声、画质差、运动模糊、严重遮挡。抓杯子的时候,杯把会形成深孔,物体也会挡住手。要把这些手部位姿恢复出来,或者标得精准,难度非常高。

创业邦由此追问:原始视频采回来,是不是并不等于就能直接训练?

宋知珩给出肯定回答。采集到的数据得经过处理,才真正能用于模型训练。高质量数据不是“有视频”就行,而是要让模型从中学会可靠的操作逻辑。

创业邦接着问:面对这些复杂场景,星忆具体靠什么技术来处理?

宋知珩说,团队在手部姿态识别、人体姿态识别和多模态数据上已经积累了十多年,从2015年至今,在顶会、顶刊发表过数十篇相关论文。

这些研究被训练进一个统一的Transformer模型,作为基座模型。他打了个比方:大语言模型是在预测下一个word,或者做完形填空;他们的模型预测的是手和人体姿态在物理空间里的时间和空间一致性,然后再精准标注出来。

创业邦问:“时空一致性”具体解决的是什么问题?

宋知珩解释,连续动作中,手和人体姿态不能前一帧、后一帧突然跳变;碰上遮挡、低光照、运动模糊,也要尽可能恢复出合理的姿态。模型要处理的不是单独一帧“画面里有没有一只手”,而是这只手在一段动作里怎么移动、它与人体和物体之间的关系连不连续。

创业邦又问:一家具身智能数据公司真正的核心壁垒在哪?

宋知珩认为,数据公司的核心壁垒有两部分。

第一块是采集端,拼的是硬件和人力成本。硬件上,深圳、华强北这类供应链能很快把市场需要的硬件做出来;组织更低成本的人力,很多外包公司也做了很久,有自己的积累。

第二块是数据处理端,拼的是处理效率和精度。星忆过去的积累都在算法上,所以很自然地更适合做数据后处理。

创业邦追问:你们更关注数据处理端的能力建设?

宋知珩回应,采集硬件会受产品成熟度、售后等因素制约,难以规模化;人力外包要组织更大规模的人,也不简单。做数据后处理,如果算法越来越强、数据飞轮迭代得越来越好,处理能力的scale(规模化)速度可以是指数型的。

创业邦问:这是否意味着,你们想避开“人越多、产能才越大”的数据生意?

宋知珩说,行业里不少做数据后处理和标注的厂商,靠大量人力做标注,但这件事没法真正scale。星忆想不断提升数据后处理和标注的效率、自动化率。这样服务客户的能力扩张,不一定要线性加人,也可以更多依靠算力和算法能力。

当客户继续

内化数据管线

星忆的客户在哪?

创业邦问:目前公司主要客户类型是什么?不同客户的需求差异在哪?

宋知珩回答,主要是模型厂、机器人厂商和互联网大厂。

他提到,有些多模态模型在具身抓取上表现不错,训练时用的大量人类数据很可能是关键原因。目前主流客户仍主要把数据拿去训练具身模型。与此同时,从大语言模型转向多模态模型的公司越来越多,它们同样需要第一人称视角的人类数据。

就多模态模型而言,整个数据集里只有一部分是人类数据或第一人称视角的人类数据;具身模型则不同,这类数据在其数据中的占比更高。但眼下的情况是,具身客户数量依然更多,原因在于他们的需求最直接。

创业邦问,OpenAI GPT-6 Astra 这类多模态模型已经开始表现出对物理世界的理解能力,大语言模型公司转做多模态之后,对第一人称高质量人类数据的需求,会比具身模型公司更大还是更小?

宋知珩的回答是,眼下多模态模型公司的需求更大。他给出的理由是两边所处阶段不一样:具身模型公司整体还偏早期,模型参数规模不算大,训练要用的数据量也还没完全放量;多模态模型则已经走到参数更多、理解能力更强的阶段,对真实世界数据、特别是人类操作和交互数据,胃口明显更大。

他拿 GPT-6 Astra 举例,据他们了解,这个模型训练时已经用掉数百万小时的人类数据,后面还在继续采购。国内一些多模态模型厂商也在陆续加买第一人称人类数据。宋知珩说,对具身模型来讲,这类数据是学操作逻辑、理解物理世界的重要材料;放到规模更大的多模态模型那里,它同样能补上真实世界理解能力这一块。

创业邦又问起公司的订单和商业化进展。

宋知珩介绍,公司目前有千万级订单,收入不止 2000万元,商业化正在一步步推进。不过服务客户的过程中,最大的难点也露了出来:数据后处理和标注如果大量靠人工,服务能力就很难真正上规模。他说公司现在的重点就是提升这两块的效率和自动化率,只有做到这一点,才有可能靠扩增算力把服务客户的产能大幅拉起来。

创业邦接着问,能不能透露一些合作客户。

宋知珩表示,可以透露一部分。

他提到,公司与京东也有比较深入的合作。

创业邦追问,京东自己也看重机器人业务,双方的合作点具体落在哪里?

宋知珩说,京东很重视机器人业务和数据采集业务,其长处正好在于既有采集硬件,也有大规模人力和丰富多样的场景来做采集。他总结道:“他们擅长采集,我们擅长处理,这就是一个非常好的结合。”

《Signals》往期精彩内容:90后天大校友,打造脑机接口通用模型,宇树早期投资人押注

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 埃森哲报告被指15条引用造假:AI幻觉还是编造案例?

    IT之家 11 月 8 日消息,埃森哲(Accenture)被指发布了一份充斥人工智能“幻觉”的研究报告,其中不仅包含大量虚假信息,还出现了多处疑似捏造的研究案例。据 GPTZero 最新分析,这家咨询巨头发布的一份报告涉嫌包含 15 条虚假引用,以及完全虚构的案例研究,因此正受到外界审查。这份名为《跨越式发展》(Le

    来源 腾讯网
  2. 江小涓:AI促消费扩供给,兼具增长动能与便利平权

    AI从拓展消费和提升供给两端同时发力,带来经济增长的新动能、便利之益和平权之善。 11月6日,由商务部主办,上海第一财经传媒有限公司承办的第九届虹桥国际经济论坛“消费焕新:新场景、新供给与新增长”分论坛上,中国社会科学院大学教授、国家数据专家咨询委员会主任、国务院原副秘书长江小涓给出了这一观点。 从数字化...

    来源 腾讯网
  3. 京东双11把服务摆上台面:1.5亿个服务订单,家政销售额涨超240%

    以前,供应链解决了“货”的确定性;现在,它需要解决“人”的确定性文|李莹编辑|杨立赟双11还有意义吗?这个问题放在十年前近乎冒犯。那时双11是中国商业一年一度盛大的仪式:零点的钟声、跳动的成交额、刷屏的战报,以及一套精密到让消费者算不过来的满减规则。一台全功率运转的冲动消费机器,在每年的11月11日冲到峰值...

    来源 腾讯网
  4. 对美加征关税再调:24%税率续停两个月,10%维持

    国务院关税税则委员会11月9日发布关于调整对原产于美国进口商品加征关税措施的公告。根据公告,自2026年11月10日13时01分起,在2个月内继续暂停实施24%的对美加征关税税率,保留10%的对美加征关税税率。

    来源 TechWeb
  5. 清华团队让韦布望远镜看得更远:AI算法从噪声里捞星星

    凌晨两点,清华大学的博士生郭钰铎突然从电脑前跳起来。算法跑通了 —— 暗弱的星星从满屏雪花点的噪声里浮现出来。他激动地给组里所有人都发了微信,没一人回他…… 但那一晚,人类能看见的宇宙悄悄变远了:他的算法,让价值 100 亿美元的韦布望远镜,看到了以前看不见的东西。 图源:果壳视频 显微镜和望远镜,是一类问题? 202

    来源 AI 行业观察
  6. 极客公园IF 2027首批嘉宾公布:第17年聚焦Revaluation

    今年 12 月 5 日—6 日,北京 798艺术区,还是老地方。极客公园创新大会(GEEKPARK IF),我们又要见面了。IF 将进入第 17 年。它像一本记录中国科技行业的「年鉴」,一场科技爱好者的年终盛宴,一次号召创新者聚集、留下历史回音的年度认知集结。今年,我们的主题是:Revaluation 价值,另有答案我

    来源 腾讯网
  7. AI项目试点成功却跨部门失灵:复制粘贴为何行不通?

    试点项目在销售部跑得挺好,老板说"推到客服部去"。你以为复制粘贴就完事了,结果并不是。AI 项目复制到第二个部门,产品经理得先改这三样东西。 我做 AI 项目这几年,有个很明显的感觉:试点项目容易,规模化太难了。 几乎所有项目都是从一个部门开始试点的。选一个配合度高的部门,数据也比较干净,负责人也支持。花个半年时间把项

    来源 AI 行业观察
  8. 港科大腾讯新论文:模型分不清被拒提议,准确率掉8个点

    你有没有过这样的经历:跟朋友商量周末聚餐,你先说"去吃火锅吧",朋友问了句"要不要改成烤肉",你想了想说"算了还是火锅吧"。结果到了约定的那天,朋友居然真的订了烤肉店,还一脸无辜地说"你不是提过烤肉吗"。这事要是发生在人身上,你可能会觉得对方记性有问题,或者压根没在认真听。但如果我告诉你,这种"记错"正在大语...

    来源 腾讯网
  9. 港大与字节跳动提出FreeMatching:让机器在剧变图像中认出同一对象

    你有没有试过把一匹棕色的马放进雪景里,然后睁大眼睛去找它原来站的那个姿势?这不是脑筋急转弯。这是一个真实存在的技术难题,而且困扰了这个领域很久。一张马在草原上的照片,一张经过AI改造后、同一匹马站在雪地里的照片,姿势变了,毛色的光影变了,连周围的环境都面目全非。可是你的眼睛一眼就能认出来,这还是同一匹马...

    来源 腾讯网
向下滚动自动加载更多