深度|红杉美国对话华人机器人数据公司Mecka AI:没有互联网红利,如何教机器人理解物理世界?

资讯 腾讯网 作者:ZPotentials 全文 13237 字 · 约 34 分钟读完 分类机器人大模型

图片来源:Sequoia CapitalZ Highlights机器人领域的根本问题是,我们没有大语言模型从互联网得到的那种冷启动红利。从根本上说,大量机器人数据是三类东西:像素、动作和逻辑。第一人称数据,基本就是人类以第一人称视角演示、执行任务的视频数据。机器人以第一人称视角体验世界,那我们能不能也向它展示,从第一人

所属频道 模型发布机器人与具身智能
图片来源:
Sequoia Capital

Z Highlights

  • 机器人领域的根本问题是,
    我们没有大语言模型从互联网得到的那种
    。从根本上说,大量机器人数据是三类东西:
  • 第一人称数据

    机器人以第一人称视角体验世界,那我们能不能也向它展示,从第一人称与世界互动是什么样子?
  • 贡献者这部分成本其实并不是最关键的因素。

    仍然会有办法去差异化,依靠合适的硬件、运营和软件,确保大规模数据的高质量可以被验证。

Josh Gao是Mecka AI创始人兼CEO。Mecka AI为物理AI提供数据与部署基础设施,通过Training Data》由合伙人Sonya Huang主持,讨论数据采集、质量控制与机器人商业化。节目发布于2026年10月20日。

Mecka是什么:物理AI的数据与部署公司

Sonya Huang:

今天很荣幸请到
Mecka
的
Josh
做客节目。
Josh
是
Mecka AI
的创始人兼
CEO
,这家公司正在为机器人构建数据和部署基础设施。我,以及整个生态,都认为机器人即将进入一个黄金时代。和大语言模型不同
——
它们有来自互联网的海量免费人类数据
——
机器人在本质上受数据约束。而你在生态中的位置,作为把机器人数据、物理数据带入模型分发环节的领先

Josh Gao:

太棒了,谢谢邀请。

Sonya Huang:

太好了。也许先从
一个基本问题开始:对不熟悉的人来说,
Mecka
是什么?你打算如何影响机器人世界?

Josh Gao:Mecka

正如你所说,是物理
AI
的数据与部署公司。这句话的意思是:今天我们创造、处理,并最终授权大量进入这些机器人基础模型训练的数据。
机器人领域的根本问题是,我们没有大语言模型从互联网得到的那种冷启动红利。
从根本上说,大量机器人数据是三类东西:像素、动作和逻辑。我们没有大量这种经过整理、处理和干净的数据,去训练模型理解身处物理世界意味着什么。所以我们大量的工作基本是:第一,创造不同类型的硬件,比如为人类配备传感设备、做可穿戴设备;第二,开展不同的运营,与个体贡献者、企业以及不同环境里的任务合作去采集数据;最后做后处理,并做好质量把关,让这些数据集真正有用,教会机器人认识这个世界。

Sonya Huang:

没有互联网馈赠给你一个巨型、免费、几十万亿甚至更多
Token
的语料库,那么机器人必须为进入训练混合的所有数据付费、并用运营方式去采集
——
你认为这是一个可行的挑战吗?没有互联网这份馈赠,它在经济上可行吗?

Josh Gao:

我们仍然继承了互联网给我们的很多馈赠,所以归根结底并不是从零开始。你看大语言模型和它们的数据:预训练数据长期以来基本由实验室驱动,大体来自网络爬虫之类,它并没有成为一个大市场。今天在机器人领域,我们确实看到预训练是一个相当大的市场,它可以用几种形式来实现。比如,我们可以教视频模型去生成更符合物理、更真实的世界;我们得以利用此前大语言模型和各类世界模型的成果来实现这一点。那么,能否在规模上达到那个数据量?
最终归结为:在哪种数据规模下,你能解锁什么样的商业用例。
沿着这条旅程,我们能在开端就解锁大量简单的
图片来源:智东西

从金融科技与球鞋到机器人

Sonya Huang:

我为此做了一点功课。你的背景在机器人领域是非传统的。如果我没记错,你先在金融科技世界,然后是球鞋世界。讲讲你和你的联合创始人是怎么找到通往机器人这条路的。

Josh Gao:

那是一段相当有趣的旅程。在此之前,我基本是在为云厨房打造一套类似
Toast
的餐饮运营系统,这意味着我们要做从后厨订单管理开始的一切事情。我大学四年级的某个时候,还逃课去纽约州北部罗切斯特乡下的餐厅,部署、安装自助点餐机,我们不得不在那里通宵更换餐厅的前台业务系统。我的联合创始人造了一个稳定币,最终卖给了
Coinbase
;但他是一个性格非常执拗的人,在四款竞技游戏里都进过前一千名,包括英雄联盟。把我和他带到一起的,主要有两点:第一,我们都是加拿大人;第二,我们都有很深的科幻底色。我们最终的信念是:支付是一个艰难的问题,但无论我们接下来做什么,都希望它看起来令人兴奋,希望未来不可思议。而机器人看起来是一个非常值得进入的空间。

Sonya Huang:

我记得走进你的办公室,立刻看到了那些机电一体化的机器人,还有墙上的川崎。你内心的那个孩子,对你现在做的事一定非常开心。

Josh Gao:

没错,绝对如此。

Sonya Huang:

作为机器人圈的圈外人,你认为在构建这家公司上,你的优势是什么?又在哪些地方遇到了挑战?

Josh Gao:

优势在于,当我们进入这个领域时,不得不做完整的发现过程。我们联系了几百位我们欣赏的圈内人士,读遍了能拿到的每一篇论文,去拜访不同的机器人实验室。我们在
2024
年末左右看到的是:
GPT
正在起飞,而机器人还在从传统机器人时代演进。至少对我们来说,有一点显而易见:
数据和算力会成为整个行业非常关键的东西。
朝着那个方向走,我们读到
Ego4D
等论文,以全新的视角审视这些工作,心想
“
嘿,这里有大约
4000
小时的人类演示数据
”
。
当你真的进去看那些数据,会发现有些数据集是人们的日常生活,比如打保龄球。在
4000
小时的规模上,有非常广泛的用例和潜在应用。带着全新的视角,我们得以用第一性原理的方式,对什么重要形成直觉,然后和很多比我们聪明、对未来有不同看法的人紧密迭代,贴近他们、围绕产品会变成什么样不断打磨。

Sonya Huang:

有意思。看起来机器人作为一个领域变化太快,以至于来自圈内外几乎既是优势也是劣势,因为人们来自不同的时代,对训练配方里什么重要之类的看法各不相同。

Josh Gao:

是这样的。

第一人称数据:为什么把公司押在上面

Sonya Huang:

也许对我们的听众说一句:什么是第一人称数据?我注意到你创办公司时真的为它下了一个赌注。现在它当然更分散了,但什么是第一人称数据?你当初为什么决定把公司押在它上面?

Josh Gao:第一人称数据,基本就是人类以第一人称视角演示、执行任务的视频数据。

高层的想法是:在人类数据与机器人数据之间的差距上,你能弥合很大一块视觉差距。机器人以第一人称视角体验世界,那我们能不能也向它展示,从第一人称与世界互动是什么样子?
我们为什么押注它,基本是:当我们探索这个领域时,看到当时大量的机器人数据来自
——
也就是人类操控机器人去做演示。这在当时很难规模化。而从
GPT
和大量规模化原则里,我们看到必须找到显著更大地规模化数据的方法。我们早期的一些直觉是,人类和机器人有很多相似之处。人形机器人刚开始起飞。人类和人形机器人看起来一样。我们为什么不能把人类变成特斯拉那样的

Sonya Huang:

嗯。那实际是什
么样子?你是把
iPhone
绑在某人额头,然后让他去过一天吗?在实践中是什么样?

Josh Gao:

对。我们最早的试点是一款手机
App
,招募参与者录制做饭、打扫等日常操作的第一视角数据,其中就有国内的普通参与者。那当然演进了很多。我们试过很多方式,采集过
UMI
数据,开头做了各种各样的东西。而现在,它已经大幅演进成我们必须生产的各种定制硬件,以及我们在不同行业必须建立的各种合作。归根结底,我们是在为人类配备传感设备,这是更大的类别。

Sonya Huang:

从传感器拿到

Josh Gao:

我们见过的力觉数据的一些替代方案,是手腕相机这样的做法,目前在人类和机器人两边都有,能观察手与你互动的不同物体之间的接触时间。这显然是一种相当取巧的方式,最终才能弄明白拉开一把椅子或拧开一个瓶盖需要多少牛顿的力。
但力觉数据会极其重要。
它其实是我们一直在打造的产品之一。当你与许多机器人基础实验室迭代时,你会意识到要弥合这个差距,第一,我们必须创造新的硬件。所以我们一直在开发供人类穿戴的手套,在这些手套里,能够收集完成日常生活中不同任务需要用多大力气的信息。

数据工厂内部:运营与物流

Sonya Huang:

我很想花点时间谈谈一座数据工厂的实际运营,因为有太多钱投进了大语言模型的数据工厂,也有大量资金开始、并且我相信会继续涌入机器人数据工厂。而它们运作的方式,对我来说既神秘又引人入胜。所以我很想问问你关于它的运营,可以吗?

Josh Gao:

好,来吧。

Sonya Huang:

好,那它是怎么运作的?如果我想多赚点外快,是不是只要在你网站注册、把相机放在额头,然后开始给你发数据?还是怎么运作的?

Josh Gao:

我们在贡献者端其实有很多不同的方式。一种是我们直接面向消费者的方式。通过直接的手机
App
,你在世界任何地方都能注册,可以开始贡献,可以登记你从事的职业,然后你会收到一连串分配给你的任务,比如打扫你的卧室、做早餐、之后收拾干净。这是一种非常轻量的方式,最终是为了获得预训练数据的多样性。第二种你必须进入的方式是:归根结底,家庭之外还有多得多的东西要采集。所以我们不得不构建大量的
B2B
引擎,以及这种面向各类体力劳动行业招募企业合作伙伴的能力
——
它跨越面包房,可能是
PCB
生产线,一直到
——

Sonya Huang:

——
播客。

Josh Gao:

播客里没太多手工活吧?

Sonya Huang:

——
这里确实有一些。

Josh Gao:

我们本该给自己也配一套的。

Josh Gao:

而贡献者就是这样进入混合的。但数据工厂真正的数据引擎,比人们能预期的要复杂得多、痛苦得多。那就是,我们要分发到世界上的很多东西,在设计和生产出这些硬件之前根本不存在。触觉手套就是一个绝佳的例子:市面上没有任何现成的东西,你能买到、戴上,它能可靠地告诉你每天施加了多大的力,并把那转成供这些机器人基础模型使用的现成数据集。

Josh Gao:

所以我们必须有这个硬件迭代循环,要有这三四个产品周期,要有那种工程肌肉去真正思考并迭代什么是有用的,然后把生产规模化、分发到世界。这就成了把硬件分发到成千上万户家庭、成千上万家企业的物流,去采集、去上传。为了支撑到现在要处理的几百
PB
数据,我们不得不在运营的很多地方搭建
100Gbps
(千兆比特每秒)的上传线路。然后你还要处理,要确保质量控制到位,还要做所有计算机视觉,最终让它变得有用。

质量把关与防欺诈

Sonya Huang:

那
假设你决定:我的训练配方里播客不够,甜甜圈师傅不够
——
我不知道
——
你会真的出去敲甜甜圈师傅的门,让他们注册你的平台吗?还是怎么运作?

Josh Gao:

我们通常会跨不同职业、行业,以及我们思考多样性的各种方式,跟踪一张类似热力图的东西。在这张热力图之上,如果最终我们觉得
“
哦,
Sonya
的播客不够,我们得去拿到它
”——
其实这正是我们今天坐在这里的原因,这是我们的秘密任务,所以到处都是摄像头。

Sonya Huang:

不,不,你可别想把我剪掉。我开玩笑的,请便。我听说机器人数据采集整体上有很多质量问题,而且大量被送入的机器人数据小时数最终都不被接受。为什么会这样?你们又怎么解决这个问题?

Josh Gao:

这个教训甚至最初来自不同类型机器人数据。出现过一些非常大规模的机器人工厂,它们靠大型仓库里重复地做任务,试图扩大遥操作数据。那里的一些经验来自研究:存在某个多样性阈值,超过它,你就会过度饱和你需要的机器人数据量,或者总体上你需要的数据量。在人类数据这边,质量
——
你能想象
——
随着我们的成长,其实是一个移动的目标。你在真实世界里必须处理的边缘案例极端得多,而且你总会看到一些从未见过的新东西。所以对我们来说,关键是:你能不能想出一些启发式规则,在数据被加工时捕捉到大量不同的东西?你能不能有各种引擎快速升级?最终,我们会学到一些一周前都还不成立的质量和多样性新知。所以要有那种敏捷性,极快行动,去创造并调整你的引擎来捕捉它
——

Sonya Huang:

你会捕捉到什么的一个例子?

Josh Gao:

欺诈是被低估的一环,在整个数据行业都如此。
我们创造的是还不存在的数据,这和你过滤互联网时不同。
所以当你遇到非常有创造力和有趣
——

Sonya Huang:

—
—
发来
生
成式视频之类的?

Josh Gao:

对,非常有创造力的人。有一次有人录了那种
“
第一视角在麦当劳打工
”
的
YouTube
视频,试图把它当作他的贡献提交上来。基本就是这样。

Sonya Huang:

哇,永远不要低估人们有多会钻空子。这太了不起了。

Josh Gao:

是的,非常如此。这些是那些痛苦教训的一部分
——
是的,你必须设置很多门,但归根结底,你还必须在采集发生的地方在场。你得去看它是怎么做成的。你得想出一个真正激励人们做出优质贡献的激励模型。

Sonya Huang:

长期来看,你怎么思考自己长期维持利润空间的能力?我可以想象一个
Mecka
的竞争者来找
Sonya
说:
“Sonya
,我真的很想要你的播客数据。
”
我可以想象,你作为中间人能够拥有的利润率最终会被挤压。

Josh Gao:

就端到端确保这些数据有用而言,贡献者这部分成本其实并不是最关键的因素。所以即使那个基线一直都在,而且也许它变得越来越不具竞争力,仍然会有办法去差异化,确保你的数据在非常大规模的尺度上被可验证地高质量
——
依靠对的硬件、对的运营和对的软件。当我们想这些产品时,归根结底,我们确实想把它们规模化、成熟化,就像任何刚开始规模化的产品一样,你想优化它。但随着时间推移,你会有不同的产品演进出来。所以当你把播客这份第一人称数据仅仅看作你的一个
SKU
,然后意识到会有不同类型的数据变得重要
——
比如,我们能否从路边那家中餐馆,随时间推移进入米其林星级餐厅?能否越来越接近
“
当费德勒
”
而不是
“
当普通网球选手
”
?所以这些产品会变化,这些产品的制造方式也会变化。

数据规模:离“够”还有多远

Sonya Huang:

真的很有意思。你认为目前已经采集了多大规模的数据?未来几年又会有多少数据被采集?

Josh Gao:

我们终于进入了一个数百万小时数据的时代。两年前
Ego4D
还是
4000
小时,这是巨大的跃升。但相比之下
——
你想以自动驾驶为例
——
特斯拉花了十多年时间解决两个
相对而言,我们距离必须到达的地方,仍然差好几个数量级。

Sonya Huang:

一方面,这听起来像是你的机会,听起来对机器人数据工厂来说是很大一笔收入。另一方面,作为投资机器人基础模型的人,我看着这个会说:哦,天哪。我们能到达应许之地吗?因为我也做过和你一样的计算。一辆车有两三个自由度。一个机器人有
——

Josh Gao:

——
光一只手就有几十个。

Sonya Huang:

对,没错。再把它组合起来:你大概需要力觉数据,而操作环境要难得多。我会想到,你也许需要数十亿、数万亿、
数千万亿小时的数据。世界上甚至有没有足够的
GDP
来支撑把这些数据采集进来的成本?你怎么想?

Josh Gao:关键在于边走边解锁商业用例。

所以它不必那么二元
——
哦,某天我们解锁了机器人,或者没有。它会是一点点慢慢爬升进入世界。一个很好的到达方式是:随着一些基础金字塔被搭建起来,我们看到泛化在发生,看到
——
这给了人们去规模化的勇气。有了那种勇气:第一,我们能否在某些环境里获得一些泛化能力?然后我们能否再采集大量域内、任务内的数据,弥合
“
四个九
”
可靠性的差距。

Sonya Huang:

这是个有用的框架。所以这不是一个从零到一的二元问题,而是我们越来越会得到能做越来越多种能力的机器人。

Josh Gao:

而且我们会在沿途解锁大量任务。

Sonya Huang:

不过我有个好奇:现在最充足的数据似乎是家庭数据,对吧?因为人人都能拍,很容易拿到。但家里的机器人几乎看起来是最难部署的环境之一。所以我很好奇你认为哪些应用会先落地,因为数据最易得的地方,几乎和机器人最容易部署的地方相反。

Josh Gao:家庭会是我们必须最审慎应对的环境之一,远超其他。

而且很多刚在机器人领域成熟的基准和评测
——
比如确保机器人不会在家里砸到婴儿
——
就是这种。最初的任务会沿着那个谱系受限得多,以一种非常目标导向的方式,你能对某些任务爬山式推进,那里有现成的
SOP
定义这份工作、这份活儿该怎么做。

Sonya Huang:

比如一个叠衣服机器人。

Josh Gao:

可能是叠衣服。叠衣服
——
我们花了一年半多试图解决,它绝对会在近期内被解决。很多你在装配线上看到的抓取码放、包装任务
——
那是传统机器人解决不了的操作机器人
——
我们在未来一两年内就能做到。

落地与飞轮:受限场景先行

Sonya Huang:

这是个很好的过渡,来谈谈部署。我很想和你聊聊作为整体概念的机器人部署。你说过有用的机器人今天就已经能部署了。你为什么这么认为?

Josh Gao:

人们低估了机器人可以有多么多样化。如果我们把自己限制在一种上
——
人形机器人大受欢迎,它也会是机器人一个非常受欢迎的终端形态
——
但除此之外,今天的机器人领域还存在着这么多不同的形态。你可以看看不同的市场,东南亚以及国内不少酒店已经落地服务、清洁、配送类机器人
——
从你的
Uber Eats
送到门口开始,从前台到你酒店房间的门。很多这类机器人在今天已经在全球广泛部署,它们只是刚开始在北美、在美国流行起来。最早必须被部署的一些机器人,甚至会只是工业清洁机器人,比如市面上很多主题式机器人。然后从那一点一点点往上走,沿着那个谱系开始解决早期的操作任务,一路向上,直到未来我们得到那个开箱就能解决任何任务的人形机器人。

Sonya Huang:

你在这期节目早些时候
提到了特斯拉和
FSD
。你认为什么时候我们能到达有一点像
FSD
那样的飞轮的节点?而当我们到达那个节点时,你如何看待你们作为一家公司的角色会如何演变?

Josh Gao:

当我们到达那里时,我们还有一段距离。但会是一个缓慢的过渡。当你慢慢解决一些商业任务时,你最终也能开始获得一些这样的飞轮。然后你能获得部署内数据,你能获得失败案例、纠正数据。这对启动机器人飞轮将绝对重要。那有多远,取决于那个谱系,取决于跨各种尚未完成或未被解决的任务和领域的饱和程度。所以还有相当一段路。当我们真的到达那里时,我相信在那过程中
Mecka
会看起来非常不同。
一方面,我们并不完全只信第一人称数据。我们普遍相信,大量不同的
SKU——
整锅数据汤
——
都很重要。所以:未来某个时候我们会生产米其林级的数据吗?我们会不会去教一些机器人还没到达的真实世界边缘案例?
如果我们相信这个世界极其广阔、细节极其丰富,就永远不会缺少要教的东西。
而即便在那个世界里,我们也有这样一个角度:我们相信
Mecka
会为机器人的部署做出非常大的贡献。
所以在某些环境里,在弥合那个差距上
——
能够在那个领域、那个环境里完成那个任务
——
我们能否真正成为那个平台,在那里我们采集领域数据、做后训练、帮助企业,并通过细致周到的服务,帮助他们进入一个充满机器人的世界?我们看到
Mecka
会成熟成那样。

Sonya Huang:

我想听听你对
部署扩散在物理世界里会如何展开的预测。也许我可以类比一下
LLM
世界里发生的事:代码部署有几种不同的方式,对吧?有
FDE
部署服务商、服务代码商,随你怎么叫它们
——
就是一队队的人在帮助企业大规模采用
AI
。那些似乎是向经济中分发
Token
的广泛路径。你认为在物理世界里的类比会是什么?

Josh Gao:

我们在机器人领域非常相信垂直和水平两者。所以有完全垂直的、高度任务特定的,一路从硬件到模型再到数据。我们也相信一个生态系统的存在,那里会有非常庞大、形状尺寸各异的机器人硬件。世界上也会有不同类型的开放模型。它会有点像现代机器人版的一个

Sonya Huang:

好。但作为投资者你会告诉我:现在给我一些投资建议。你既投通用机器人也投垂直机器人,那么你最喜欢的垂直机器人类别是什么?

Josh Gao:

最好的会是工业机器人起步。它们已经有很多传统机器人参与其中。它们任务受限,就像我们谈到的。比如
——
你就不用期待一个婴儿冒出来,还得想着别砸到它之类的。所以那个世界比野外受限得多。其他我们兴奋的类别,是那些甚至很早就有可能可行的空间。比如酒店里的一些做法,你能真正开始从前台配送到酒店房间,能真正有操作、能交接,这些让我们兴奋。然后是那些人类根本做不到的地方。我们在公司的一些全员会上常开的玩笑是:如果有一天
Mecka
能帮助部署一个开采小行星的机器人,那我们大概干得相当不错了。

Josh Gao:

那只是一个完全不存在的工作和任务,人类做不了,我们还不知道怎么去做,但它似乎不可避免。

Sonya Huang:

对,我爱这个。它让我想起
——
虽然我还没想到星际层面
——
你听说过
Gecko Robotics
吗?它们帮助维护舰船之类的东西。我觉得真的很酷。

Josh Gao:

绝对。

硬件产品线、EgoVerse与训练配方的数据汤

Sonya Huang:

你能说说你愿意公开分享的硬件产品线吗?以及目前实验室最感兴趣在哪里采集定制数据?

Josh Gao:

一些迭代来自我们从手机
App
起步的时候
——
我们很快把它规模化,而且那款产品有不少优点。最终的缺点是你无法获得关于这个世界尽可能丰富的信息。所以有些东西我们很早就必须开发,像是最终把人们
“Waymo
化
”
。而在传感器化方面:你能不能用这些配备不同相机和传感器的棒球帽?我们建造一个中央集线器,然后连接所有这些不同的配件,比如触觉手套、外置相机等等。所有这些都在试图捕捉:你如何日复一日地与这个世界互动,并希望能克隆那种行为。

Sonya Huang:

嗯,有意思。
EgoVerse
是什么?

Josh Gao:EgoVerse——

教授、
Ryan Punamiya
,这些是最早相信第一人称数据的一些研究者和先驱。我们有幸成为那个联盟的早期贡献者,它由不同认为规模化人类数据对机器人很重要的人组成。所以,第一,我们创造并贡献了大量不同类型的第一人称数据,覆盖不同的企业、行业和家庭环境。我们分享了所有的动作轨迹数据
——
也就是所有的后处理、计算机视觉和质量把关。我们还贡献了几乎所有的平台和网页工具
——
也就是数据加载、基础设施。归根结底,它要实现他们的愿景:理想情况下,我们能把很多机器人行业凝聚在一起,因为我们希望能在这波浪潮中抬升每一个人,分享工具、数据和经验教训
——
只是因为作为行业,我们离到达那里还差得太远。

Sonya Huang:

说机器人行业已经在某种
程度上收敛到一个训练数据配方,你懂的:来自
YouTube
的互联网规模数据,加一堆第一人称数据,加
UMI
,然后加遥操作
——
也许每种数据有个三角形比例?我记得
Jim Fan
在红杉的一次活动上有过一个非常好的可视化。这是不是你所看到的配方?然后在你客户当中,是不是大家也都收敛到了一个非常、非常相似的配方?

Josh Gao:

有趣的是,甚至一年前,很多人都还在争论说
“
哦,不,只有
UMI
数据能行
”
,
“
只有第一人称数据能行
”
。然后你慢慢意识到,正如你所说,这一切本质上就是一锅数据汤。
在那锅汤里,所有配料在某个时刻都会很重要。
我们看到的是,今天大家正收敛到一个配方,它看起来大概是这样的:大约一百万小时的人类数据,涵盖第一人称和不同类型模态;几万小时的机器人数据;然后是一些最后一英里的遥操作数据,以及域内、分布内的数据
——
哪怕只是那几小时的演示。
我们正在看到这个。但随着时间的推移,也是为什么我们在这里并不激进地只信一种
“
宗教
”
:像触觉数据这样的东西甚至还没有进入配方。如果存在这种信念,即这些模型最终需要学会拧门把手要用多大的力,那么它们就必须进入这锅数据汤。模拟也会进入这锅数据汤,而它们对收敛到正确答案都很重要。

Sonya Huang:

我对这类被采集的数据
听到的最常见的反对意见之一是:你可以看几百万小时的网球数据,仍然不知道怎么打败罗杰
·
费德勒,对吧?我很好奇你怎么看这一点,以及它对机器人学习方式的走向意味着什么。

Josh Gao:

我特别喜欢
AlphaGo
这个类比。当你谈机器人打网球时,你得谈机器人下围棋。随着李世石以及
DeepMind
做的所有工作,在最开始,那是大规模地对不同专家下棋进行行为克隆。下一步是带规则的自我博弈版本
——
你能不能最终模拟所有不同的方式,直到想出第
37
手那样的奇迹?那在那一刻远远超出人类在围棋上能想到的范围。但对我们来说,在机器人这个例子里:对围棋而言,规则就是你将要操作的整个世界的边界。
在机器人这里,你拥有物理世界不可思议的丰富细节,
而我们今天还没有一个能复现它的世界模拟器。
所以要弥合那个差距,今天大量第一人称数据是为了:第一,帮助我们锚定基本的物理,以及你必须到达的那种行为克隆;
它同时也贡献于创造这个世界模拟器可能的样子。
然后沿着这条路走到某处,我们将能够创造出让机器人像罗杰
·
费德勒一样打网球的可能。

Sonya Huang:

嗯。你认为它们主要会在模拟里自我博弈,还是在真实世界里?

Josh Gao:

我最终会看到一个混合体。如果我们能得到模拟,我们就不必马上把世界的细节完全重建出来,但我看到的自我博弈既发生在物理世界,也发生在模拟里。

Sonya Huang:

你在这里用
了好几次
“
世界模拟器
”
这个词。你对世界模型正在发生的事有什么看法
——
它们现在正和视频模型这两个词有点互换着用
——
以及它们对机器人数据训练配方的贡献?

Josh Gao:

拥有那种我们刚谈到的自我博弈的可能性
——
甚至只是去梦想
“
把一个杯子掉下去然后它摔碎
”
意味着什么,而不需要真的去做
——
对可能发生的事来说是极其有价值的。我看到了其中的价值:我们得以利用大量来自互联网和
YouTube
的工作,最终落在像素预测上。而如果我们能把它翻译回那些动作轨迹会是什么样子,它就能帮助我们大幅加速。

Sonya Huang:

对,有意思。你提到我们已经收敛到这个数据金字塔配方。你认为如果我们只是把它放大
,这个金字塔会规模化吗?你认为那会把我们带到应许之地吗?而对我来说,应许之地是有人说
“
机器人的
GPT-3
时刻
”
。我不再喜欢那个说法。我就喜欢:什么时候一台机器人真的能给我叠衣服,或者给我做顿饭?你认为当前的数据配方会让我们到
达那一点吗,还是说我们需要算法和数据上的新突破才能到达?

Josh Gao:

如果我们按那个比例放大约一个数量级,我们会沿着这条路解决很多任务。所以其中一些任务可能是在受限得多的环境里。它们可能在业务运营任务里,是你给出非常具体
SOP
的。而在那个理想世界里,我们有一个即插即用的机器人,它只看一眼就解决任何任务,开箱就能像罗杰
·
费德勒一样打网球,并且处理好真实世界场景的所有疯狂复杂性,比如天气
——
那还有一段路,而且那不会是我们最终看到的样子。

Sonya Huang:

那会是什么样子?

Josh Gao:

嗯,我们仍然有太多东西要加进配方里。那会是:我们如何开始把其他模态引入配方?那就是触觉数据。我喜欢很多模型正在收敛的方向
——
一个全能模型的方法,在那里你可以喂给它任何类型的观察输入,无论是力、像素,甚至极端情况下的嗅觉,然后产生某种输出,无论是动作、语音,还是不同类型的外部控制。

Sonya Huang:

甚至有没有能感知气味的芯片?

Josh Gao:

还非常早。这种嗅觉方法非常早期。但我喜欢想象,世界上会存在某种方式让那被解锁。

Sonya Huang:

对。
GPT-6 Astra
的结果正在极其出色地泛化到机器人任务。我很好奇你怎么看待这个,以及它对所有那些专注于机器人的公司意味着什么。它们最终会不会干脆被
AGI
实验室碾压?
“
苦涩的教训
”
(
The Bitter Lesson
)会不会也直接碾压机器人?你怎么想?

Josh Gao:

用不完美的信息规模化数据需要很大的勇气。很多这些实验室的
DNA
里,早早就有承担那种勇气的基因。我们正在看到的、并且令人兴奋的是,随着机器人数据的规模化,甚至只是把它加入这些主要
LLM
和基础模型的很多预训练配方里,你真的能开始在很多不同的领域泛化。我很兴奋全能模型的方法,你能引入大量不同类型的观察
——
无论是力,还是动作轨迹
——
进入配方,并让它泛化。也会有很多争论认为,你应该比一个能做任何事的完全泛化模型垂直得多。所以,在某个时间轴上,那个能做一切的模型会非常擅长很多事,但其中一些专门化的模型、一些更有针对性的机器人基础模型,可能在那些任务的
“
四个九
”
能力和可靠性上变得非常出色。

Sonya Huang:

嗯,好。我刚才从字里行间听到的是:最新的基础模型擅长机器人这件事,其实并不那么令人意外,部分是因为现在其实已经有相当多的机器人数据被扔进了训练配方。这样说公平吗?

Josh Gao:

当你细想一下,这其实相当可预期。

尾声:一个充满机器人的世界

Sonya Huang:

非常有意思。我很想在结尾回到你的科幻根源。你创办这家公司,是因为你能想象一个机器人无处不在的世界版本。描绘一下那个世界会是什么样子。

Josh Gao:

最好笑的时刻,大概是你参观我们纽约办公室的时候。在我们那间主要的会议室里,我们墙上挂着的其实是川崎的
Corleo
。那是机器人豹狗马,随便管它是什么。

Sonya Huang:

豹狗马,没错。所以它基本就是一个机器人豹狗马。

Josh Gao:

它基本是你见过的最荒诞的视频和预告片。

Sonya Huang:

我最喜欢的部分是,你们让
Anas
相信那上面真的是你和你妈妈。

Josh Gao:

对,有一段剪辑,一个奇幻的亚洲女士和她儿子骑着马,在绿草地上方、一条小河上,而
Corleo——
这匹狗豹马机器人
——
正跳过河。所以我们告诉
Anas
,这基本就是我们小时候的样子,是我们生成的。而美妙之处就在于它有多荒诞。我非常热爱《银河系漫游指南》的哲学,以及世界可以有多荒诞、未来可以有多荒诞。而在这个充满机器人的世界里,我很愿意相信,会有那样疯狂的创业者和人,相信像这样的形态会很有趣。而且机器人形状和尺寸会看起来像一个世界,在那里我们想出了各种古怪的机器人,它们能做一些你甚至还没想到的事。

Sonya Huang:

比如开采小行星。数量级上,十年后世界上会有多少机器人?

Josh Gao:

比人类多得多得多。

Sonya Huang:

多很多个数量级?

Josh Gao:

对。

Sonya Huang:

那真的很酷。
1000
亿个豹狗马?

Josh Gao:

豹狗马
——
至少再高一个数量级。

Sonya Huang:

太好了。你正在构建的东西在运营上真的非常令人印象深刻,也很酷,你如何扩大数据采集的努力,让这个机器人黄金时代、这个你从小梦寐以求的科幻未来成为可能。所以谢谢你今天来做客,既告诉我们你如何构建这家公司,也告诉我们你如何看待未来。这真的非常有趣。

Josh Gao:

非常感谢你们邀请我们。谢谢你,
Sonya
。

原视频:Inside the Robot Data Factory: Mecka's Josh Gao on Sensorizing Humans to Train Robots

https://www.youtube.com/watch?v=0idrTKCDhuE

编译:Nancy Gao

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 王兴兴看2026年AI:用“激动人心”形容,底层突破快过外界感知

    11月17日,在亚太经合组织(APEC)工商领导人峰会上,宇树科技创始人王兴兴作为科技企业代表在现场分享了他对2026年AI发展态势的感受。他表示,未来几年AI大模型与机器人领域的潜力十分巨大,是当下最让他感到激动的方向。在他看来,普通大众目前看到的AI技术、机器人技术进展,大多只是“水面以上”的部分;而在公众视野之.

    来源 腾讯网
  2. 王兴兴:AI泛化临界点将至,机器人潜力有多大?

    “很多普通老百姓看到的大部分还是在‘水面以上’的,但是在‘水面以下’,很多情况真的是更加波涛汹涌。”11月17日,在APEC工商领导人峰会“共建开放普惠的人工智能创新生态”专题研讨环节,王兴兴再次表达了他对AI大模型和机器人技术的看好。王兴兴表示,今年AI大模型领域和机器人领域取得的技术突破非常“激动人心”,并...

    来源 腾讯网
  3. 中信建投:物理AI将成AI下一波浪潮,机器人是极佳物理载体

    11月17日,中信建投研报称,北美巨头加速布局,OpenAI对独立机器人团队进行架构重构。GPT-6惊艳效果有望加速产业核心具身大脑发展,Apple、OpenAI、Meta入局,Tesla推进量产,进一步明确产业趋势。OpenAI对独立机器人团队进行架构重构,主要系通用模型在机器人控制上展现出较强潜力,中长期看AI大模

    来源 腾讯网
  4. APEC专题|王兴兴谈AI与机器人:公开进展只是“水面以上”,底层迭代远超外界感知

    11月17日,在深圳举办的APEC工商领导人峰会上,宇树科技创始人王兴兴作为科技企业代表,分享了对AI与机器人领域发展态势的判断。 王兴兴表示,未来几年AI大模型与机器人领域潜力巨大,是当下最令他激动的方向。他用“水面以上”与“水面以下”作比喻:普通大众目前看到的AI技术、机器人技术进展,大多只是“水面以上”的部分;而

    来源 AI 行业观察
  5. Model ML融资2.5亿美元:AI代理替投行分析师改模型、做PPT

    据TechCrunch报道,AI创业公司Model ML完成2.5亿美元融资,主打为投行与咨询顾问自动更新财务模型和演示文稿。其代理能理解交易全貌,在新信息影响分析时自动同步修改。这轮融资折射出资本对金融垂直AI的押注:投行初级员工的建模与做PPT苦活,正成为大模型最现实的落地场景之一。

    来源 AI 科技快讯
  6. 雷军谈AI商业化:赚钱的公司还不多,机会在物理世界

    《科创板日报》11月17日讯(记者 余诗琪)在今日的亚太经合组织(APEC)工商领导人峰会上,小米集团创始人、董事长兼CEO雷军表示,过去四年,AI大模型技术突飞猛进,但投入非常大,能够落地的场景仍然有限,真正实现商业闭环、能够挣钱的公司相对较少。对于下一阶段的产业机会,雷军认为,AI与手机、汽车等终端及应用场景深..

    来源 腾讯网
  7. 雷军、李彦宏、王兴兴、曾毓群等齐聚,再谈AI与机器人未来

    《科创板日报》11月17日讯(记者 黄心怡)11月17日至18日,2026年APEC工商领导人峰会在深圳举行。科技企业构成了这场峰会的重要声量。从AI大模型到底层算力,从人形机器人到脑机接口,企业家们围绕科技发展的现实路径展开对话。百度集团创始人、董事长兼首席执行官李彦宏阐述了对人工智能产业层次的判断:AI可分为四层—

    来源 腾讯网
  8. 雷军谈AI落地难题:物理世界机会巨大,具身智能或超汽车产业

    “AI是一个全新的时代,一定会带来非常多的商业机会,尤其是AI走向物理世界,与终端和各种应用场景深度结合以后,将释放巨大机会。”11月17日,在2026年亚太经合组织(APEC)工商领导人峰会上,小米CEO雷军表示,当前AI投入非常之大,但能够落地的场景仍非常有限,“大家也有很多困扰,也非常焦虑。”在AI这一轮周期中真

    来源 腾讯网
  9. 谷歌地图Ask Maps升级:AI可代打电话订位,还能规划自驾路线

    谷歌于2026年11月16日宣布对其基于Gemini技术的 Google Maps 聊天机器人 Ask Maps 进行重大功能更新。该工具现在不仅能够查找美容、宠物护理、汽车和房屋维修等各类预约服务,还能直接致电当地商家完成预订,并在显示可用时段前自动收集必要信息。同时,用户还可借助该功能查找已保存

    来源 AI 开发者社区
  10. Anthropic花34亿美元买发电机:AI竞赛打到电力这关

    “算力的尽头是电力”,这句话正在成为大模型时代的铁律。AI巨头们已经从早期的抢GPU、抢算力,演变成了如今的抢发电机。 近期,Anthropic豪掷34亿美元买下1.7吉瓦燃气发电产能的举动,引发了科技圈的广泛关注。 这种跳过中间环节、直接掌控能源基础设施的激进选择,不仅将整个行业的电力焦虑摆上台面,也揭开了新一轮资源

    来源 AI 行业观察
  11. 谷歌地图Ask Maps迎重大更新:支持AI代打电话预约及智能行程规划

    谷歌于2026年11月16日宣布,基于Gemini的Google Maps聊天机器人Ask Maps重大更新。该工具可查找美容、宠物护理、汽车、房屋维修等预约服务,直接致电当地商家完成预订,并自动收集必要信息;还能查已保存餐厅的即时空位。行程规划可依兴趣生成,支持修改、分享或导出至谷歌。

    来源 AI 产业速递
  12. 蚂蚁灵波具身大模型挑战赛:TARS战队夺冠,1855支队伍报名

    11月16日,首届蚂蚁灵波具身大模型挑战赛总决赛结果出炉。由福田实验室、西北工业大学、普渡机器人、天津大学五位选手组成的"TARS"战队获得一等奖;华中科技大学、清华大学深圳研究院、湖北元一智能三位选手组成的"EVA"战队,以及天津大学、北京大学、中国科学院自动化研究所三位选手组成的"SST"战队获得二等奖;"Vida

    来源 AI 行业观察
  13. Model ML融资2.5亿美元:AI能替投行初级分析师熬夜吗?

    据TechCrunch报道,AI创业公司Model ML完成2.5亿美元融资,主打为投行与咨询顾问自动更新财务模型和演示文稿。其代理能理解交易全貌,在新信息影响分析时自动同步修改。这轮融资折射出资本对金融垂直AI的押注:投行初级员工的建模与做PPT苦活,正成为大模型最现实的落地场景之一。

    来源 AI 行业观察
  14. 李晗离职可灵AI:快手技术副总裁出身,下一步未定

    11月18日,据“申妈的朋友圈”援引知情人士消息,原快手技术副总裁、可灵AI高管李晗已离职,下一步去向尚未确定。李晗2019年加入快手任技术副总裁,2026年1月起全面负责基础大模型和推荐模型两大核心算法业务,同年6月转岗可灵AI,此次离职距转岗约5个月。

    来源 凤凰科技
  15. Operit AI上手:40+工具与MCP插件怎么用

    Operit是Android平台的一款AI助手,核心亮点在于将大模型对话与本地系统能力打通。本文梳理了其内置的搜索、文件处理、代码执行等实用工具,并详解如何通过MCP协议扩展插件。不同于纯聊天机器人,它更像是一个能直接操作手机文件的智能终端,适合需要在移动端进行轻量级开发或自动化任务的用户。

    来源 AI 应用前沿
  16. 三星美光海力士内存涨价7倍,法官戳破AI背锅说法

    最近,硬件圈发生了一件魔幻的事。因为新一代DDR5内存条贵得离谱,而老款DDR4和DDR5插槽互不兼容,逼得多家主板厂从年中开始掉头重启了原本停产的DDR4主板产线。更离谱的是,玩家去市场上一问价,发现老旧的DDR4不仅没便宜,近期涨幅一度反超了新款DDR5。今年的笔记本新品们,更是集体退回16GB内存时代。这一年多来

    来源 腾讯网
  17. Looki推Loom模型:第一视角感知能否撑起AI长期记忆

    Looki推出的Loom模型系列不再只是被动回答问题,而是通过视觉和音频连续感知用户的第一视角生活。它将零散的观测数据组织成带有时间戳和证据的经历片段,并分层存储为可检索的长期记忆。相比传统的大语言模型,Loom更擅长处理“我上周把钥匙放哪了”这类需要回溯具体生活场景的问题,且在推理成本和记忆准确性上展示了新的技术路径

    来源 AI 应用前沿
  18. 小鹏IRON人形机器人明年二季度对外开售,何小鹏预告科技日亮相

    IT之家 11 月 16 日消息,据蓝鲸新闻报道,今日晚间在小鹏集团 2026 年 Q3 财报电话会上,其董事长、CEO 何小鹏预告,在接下来的小鹏科技日和广州车展,最新版本的小鹏 IRON 将会公开亮相,将展示一系列与众不同的能力。何小鹏透露,明年一季度,量产的首批机器人将进入小鹏的部分门店开启试用;明年二季度,小鹏

    来源 腾讯网
  19. AI硬科技企业扎堆赴港:商业化验证定估值

    【AI等硬科技企业密集赴港上市 商业化验证成为估值分水岭】财联社11月17日电,伴随港交所18C特专科技机制落地,一批大模型、AI算力芯片、自动驾驶、机器人等硬科技企业密集赴港递表、挂牌上市,港股市场正成为国内未盈利科技企业重要的境外融资枢纽。但市场呈现明显冷热分化,部分头部标的基石认购火热、上市后再融资通道顺畅,不少

    来源 AI 行业观察
  20. 中广天择:AI算料业务成新增长曲线,AI漫剧产品陆续上线

    中广天择在2026年第三季度业绩说明会上表示,公司在AI方面已有布局。旗下数智中心以40万小时4K超高清视频与200万小时高保真音频建立起高质量垂类算料库,与国内头部大模型企业达成合作,AI算料业务已成为公司新的增长曲线。同时,公司AI漫剧业务也已经陆续有产品上线。公司将积极推动人工智能、大数据等前沿技术在业务全流程中

    来源 AI 行业观察
  21. AI等硬科技企业密集赴港上市,商业化验证成为估值分水岭

    伴随港交所18C特专科技机制落地,一批大模型、AI算力芯片、自动驾驶、机器人等硬科技企业密集赴港递表、挂牌上市,港股市场正成为国内未盈利科技企业重要的境外融资枢纽。但市场呈现明显冷热分化,部分头部标的基石认购火热、上市后再融资通道顺畅,不少新股遭遇破发、成交低迷、一二级估值倒挂。港股在承接新质生产力资产的同时,正迎来一

    来源 AI 行业观察
向下滚动自动加载更多