Astra让机器人开发提速100倍!万字对谈英伟达机器人负责人

资讯 腾讯网 作者:机器人前瞻 全文 13730 字 · 约 35 分钟读完 分类英伟达机器人

机器人前瞻(公众号:robot_pro) 编译 | 周加琦 编辑 | 漠影 机器人前瞻11月18日报道,近日,英伟达机器人与边缘AI副总裁Deepu Talla接受了T....

所属频道 算力与芯片机器人与具身智能

机器人前瞻(公众号:robot_pro)
编译 | 周加琦
编辑 | 漠影

机器人前瞻11月18日报道,近日,英伟达机器人与他认为GPT-6 Astra的出现,是推动机器人具备

Deepu Talla曾在德州仪器工作超过10年,担任首席架构师等职务。2013年加入英伟达后,他曾负责英伟达移动业务,推动

目前,Talla主要负责机器人与边缘AI业务,推动

以下是此次访谈中值得关注的五个重点:

1、GPT-6 Astra让机器人仿真环境构建、系统集成等环节的效率有望提升约100倍,但机器人要实现大规模部署,仍需进一步提升准确性、可靠性和安全性。

2、

3、未来机器人可能形成

4、机器人“

5、人形机器人可能是研发通用机器人“大脑”的最快路径。因为第一视角数据更容易用于人形机器人训练,现有环境也大多为人类设计。但人形并非是大多数工业任务的最佳选择。

Talla认为,具身智能正进入一个明显加速发展的阶段,

机器人前瞻整理了采访实录:

一、Astra带来两个100倍提升,机器人开发与部署加速

Drew:最近,英伟达刚刚在柏林举办了GTC开发者大会,这次柏林之行感觉怎么样?

Talla:柏林非常棒。现场不仅有大量德国企业,也有来自欧洲其他地区的公司。

欧洲很多机器人应用都面向中小型制造企业,这些企业往往专注于精密制造和高度专业化的生产任务。

过去,机器人技术还不够成熟,难以在这些场景中自主工作。因为中小企业的生产任务种类繁多、变化频繁,很难依靠预先编写程序,让机器人适应不同的工作需求。

这就要求机器人具备真正的自主能力。而现在,相关技术正在逐渐成熟,已经开始能够解决这些问题。

Drew:你说的自主能力,是指机器人能够自主完成部署和系统集成,还是指机器人能够自主完成生产任务?

Talla:这里涉及两个方面。首先,机器人的智能水平必须足够高,能够准确、可靠地完成一项或多项任务,同时满足安全性、经济性等要求。

但目前,我们还没有迎来类似2022年11月ChatGPT在数字世界带来的那种突破,也就是出现一个能够理解物理世界、具备通用能力的机器人“大脑”。

现在,全球的研究人员、开发者和实验室都在努力解决这个问题,让物理AI大脑能够更准确地理解物理世界。

其次,即使拥有了足够强大的机器人“大脑”,还需要把它部署到机器人本体上,接入现有工作流程中。

这同样是一项复杂的工作。机器人不仅需要完成自身任务,还要与其他机器人、AI系统以及人类协同工作,很难只靠传统编程解决问题。

因此,机器人部署和系统集成需要根据具体情况进行定制。但大约一个月前,Astra的出现带来了新的转机。

现在,Agent能够调用各种物理AI工具,包括仿真、模型训练和部署工具,并通过反复测试和迭代,帮助机器人模型接入现有工作流程。

因此,必须同时解决两个问题。第一,让通用机器人“大脑”足够准确、可靠和安全;第二,需要把这些能力集成到实际的工作流程中。

Drew:但在美国加利福尼亚,有时会存在一种AI式的傲慢,认为AI就是一切,是唯一重要的事情。你觉得,加州的机器人研究人员有什么值得向欧洲传统制造企业学习的吗?

Talla:我觉得问题不完全在这里,关键还是刚才提到的两个方面。

过去,我们还没有真正解决通用机器人智能的准确性问题,因此也就没有必要大规模解决系统集成问题。而系统集成,本质上就是如何将智能能力应用到更多实际场景中。

幸运的是,今年2月左右,数字世界迎来了Agent AI革命,相关技术发展得非常快。Astra发布时,我们感到非常惊喜。

举个例子,训练机器人“大脑”需要大量数据。物理世界对于准确性的要求远高于数字世界。因此,我们一直在采集大量的真实世界数据。但仅靠这些数据还不够,

问题在于,过去要生成合成数据,需要专业美术人员或者借助

即使AI技术已经取得了巨大进步,构建这些模型和环境仍然非常耗时。例如,要为一个场景创建

现在情况发生了变化。以Astra为例,它接受过与物理世界相关的训练,对物理规律以及空间和时间之间的关系,有着较好的理解。

因此,它能够分析物体的属性,在互联网上寻找现有的CAD模型,也可以利用图片或视频构建相应的仿真环境,不一定需要完整、精确的3D扫描数据。

这意味着,过去需要数月才能完成的工作,如今借助Agent,效率提高了约100倍。

有了这种能力,我们就能更快地生成高质量数据,加快模型训练和收敛速度,提升模型的水平。这是我观察到的第一个变化。

第二个观察同样重要,就是机器人的系统集成和部署问题。

比如,你想把机器人部署到工厂。工厂里有各种机器设备,其中一些可能由已经使用了20至30年的

机器人可能还需要与

那么,谁来编写这些连接不同系统的代码?实际上,编写连接代码是一件相当枯燥的工作,而且真正懂得编写的人并不多。但如果把这些工作交给Agent,它们就能阅读相关操作手册,理解系统之间的连接方式,编写所需的代码。

我认为,这可以说,我们现在已经进入了一个与一年前完全不同的发展阶段。

Drew:你觉得Astra为什么突然具备了这么强的能力?为什么它现在能够如此熟练使用CAD、

Talla:过去三到五年,AI的发展主要集中在语言能力上。随后,视频以及其他传感器数据也逐渐被引入模型。

现在只是进入了下一个发展阶段。简单来说,物理AI是一个巨大的机会。

随着语言和视频理解能力的不断提升,下一步就是把这些能力结合起来,解决涉及空间和时间关系的问题。

我认为,OpenAI在模型训练方面做得很好,让Astra具备了我们所需要的这些能力。

Drew:这两项能力确实能够加速机器人开发和部署。但问题是,这些真的是机器人领域最难解决的部分吗?即使我们利用大语言模型实现了工作的自动化,并将效率提升到极致,是否仍然存在其他障碍?

Talla:要实现机器人规模化部署,相关技术还需要提升几个数量级。

举个例子,在数字世界中,如果一个模型的准确率达到90%或95%,通常已经相当不错了。因为在大多数数字应用场景中,尤其是面向消费级应用,AI提供的更多是建议,最后还会有人参与,弥补剩下5%或10%。

但在物理世界中,90%或95%的准确率远远不够。我们需要考虑的是,准确率达到99%之后,小数点后面还需要多少个9。因为在绝大多数情况下,没有人能随时介入并纠正机器人出现的错误。

从这个角度来看,即使实现了100倍的提升,比如准确率从99%提高到99.99%。虽然很厉害,但仍然不够,还需要继续提升,达到99.9999%,甚至99.999999%这样的水平。

因此,我们还需要经历多次这样的重大技术突破。大语言模型和Agent在仿真环境创建、后期部署方面取得的进展,确实让我们朝着正确方向迈出了一步。但这是必要条件,不是充分条件。

归根结底,仍然需要有人来判断什么是正确的,什么是不正确的。

二、部分机器人应用已跨过技术门槛,大规模部署仍需突破

Drew:你认为五年之后,一家工厂能够以多快的速度实现自动化?

Talla:实际上,开发和测试机器人系统,最好的地方并不是物理世界。因为在真实环境中测试速度慢、成本高,而且可能存在危险。如果方案有问题,我们肯定不希望等到完成部署后才发现。所以,最好的方法就是尽可能在仿真环境中完成开发和测试。

仿真并不是新概念。

同样的思路也应该应用于物理AI和机器人领域。随着AI技术的发展,仿真技术也逐渐成熟。英伟达开发了相关工具和加速库,包括用于策略评估和强化学习的

现在,我们不仅可以通过仿真生成合成数据,还能将真实传感器接入

相比真实环境,仿真中能够开展的测试数量可能多出1000倍,甚至100万倍,而且速度更快、更安全、成本更低。所以,要判断机器人能否在工厂中稳定运行、实现规模化部署,就应该尽可能多地在仿真环境中完成测试。

更重要的是,现在Agent已经能够直接调用这些仿真工具。例如,黄仁勋在GTC Berlin主题演讲中展示了一个非常有意思的东西:

它们非常可爱,AI模型运行在一台搭载

但真正让我印象深刻是整个演示,从构想到部署用时不到一周。如果放在六个月前,我们根本不可能以这样的速度完成。

之所以能够完成的这么快,就是因为有了Astra。现在,你只需要告诉Agent,“为这些机器人创建一个运行环境”,它就能构建数字孪生环境。接着,再让它把不同物体添加到环境中。

如果是工厂场景,你可以提供工厂的尺寸、照片或视频。如果你有CAD文件,也可以提供。即使只有照片和视频,Agent也能够识别画面中的物体,并根据时空关系,大致判断物体的尺寸、体积等属性,构建仿真环境。

这次演示说明,过去仅仅构建仿真环境就可能耗费很长时间,而现在借助Agent,整个开发和部署过程可能在一周内完成。对于希望提高自动化水平的工厂和仓库来说,这种能力非常重要。

Drew:不过,让一个小机器人四处走动,与让一个机器人达到工业生产要求的可靠性和性能,两者的难度差距巨大。就Micro Ducks而言,是否仍然存在

Talla:这取决于你对机器人性能、可靠性和准确性的要求。

对于Micro Ducks,我认为98%甚至99%的准确率可能已经足够。比如你让它做一个后空翻,它大致能够完成。

但对于执行重要任务的工业机器人,准确率就需要达到99.99%这样的水平。

所以,问题最终还是回到了模型本身。

如果我们已经能够快速构建仿真环境,并将训练好的模型部署到机器人上,那么接下来最重要的,就是模型究竟能多好地完成具体任务。

在我看来,目前已经有一些应用场景,机器人模型的能力非常接近实际部署所需的水平。

Drew:有多接近?

Talla:对于一名百米运动员来说,要赢得奥运金牌,可能需要跑到9.6秒或9.7秒,但首先需要达到10秒左右的参赛门槛。

我认为,这个“10秒门槛”也可以用来衡量物理AI技术是否已经足够成熟。

自动驾驶就达到了这一门槛。它的应用规模扩大了10倍,而且还在继续增长。

整个行业已经研究自动驾驶大约15年,而过去半年到一年,几项关键技术终于达到了足够成熟的水平,包括具备推理能力的端到端模型,以及能够生成各种极端情况的仿真技术。这些场景在真实世界中几乎不可能全部遇到。

有了合适的合成数据,以及具备推理能力的端到端模型,自动驾驶技术才取得了这样的进展。

但这只是达到了10秒门槛。要实现所有汽车都能自动驾驶的最终目标,还需要进一步提升准确性、可靠性和安全性,并解决法规、公众接受程度和价格等问题。

同样的道理也适用于机器人。机器人有数百甚至数千种应用场景,我们需要判断哪些应用已经接近或者达到10秒门槛。

而最终,则可能是具备精细操作能力、触觉感知、足够力量和低延迟的通用人形机器人。

从现阶段来看,工厂中的自主移动机器人、非道路环境巡检机器人以及配送机器人等,主要涉及移动、导航和将物品从A点运送到B点的任务,已经非常接近10秒门槛,甚至可能已经达到。

再进一步就是操作任务,这可能是机器人最有价值的能力。

目前,很多工业机械臂和协作机械臂已经能够完成刚性物体的抓取和放置。这类物体不容易发生形变,对重量、密度以及施加力和力矩的精确判断要求也相对较低。

因此,包裹拆箱、零件装箱、抓取放置和刚性物体分拣等任务,AI技术已经达到10秒门槛,相关应用也已经在工厂和仓库中部署。

不过,不同机器人应用的成熟度并不相同,需要根据具体任务对准确性和可靠性的要求来判断。

而且,与家庭相比,工厂和仓库可以通过围栏等方式将机器人与人隔离,提高安全性。但在完全非结构化的环境中,就不能依靠这些措施,机器人自身必须具备极高的安全可靠性。

Drew:对于工厂中的机器人来说,除了准确率,是否还需要考虑成本和生产效率?

Talla:没错。

我认为,机器人主要可以承担两类工作。第一类是危险工作,比如长期搬运重物,或者在采矿、石油和天然气勘探等恶劣环境中作业;第二类是单调、重复、容易出错,而且人们不愿意长期从事的工作,比如工厂中反复搬运物品。

过去5到10年,很多工厂、仓库和制造设施已经引入AGV、UGV等自动化设备。这些设备通常按照预设路线运行,比如通过地面二维码导航,还不具备真正的自主能力。

但现在,借助新技术和合适的传感器,这些设备可以升级为自主移动机器人,不再需要对路线进行精确编程,也能够在半结构化或一定程度的非结构化环境中运行。

协作机械臂也是类似的情况。

对于汽车制造等大规模、高产量的生产场景,自动化已经相当成熟,因为生产规模足够大,值得投入资源对机器人进行精确编程。

但对于中小型制造企业来说,传统机器人编程和维护的成本太高。而且,它们处理的通常不是汽车这样重达两三吨的物体,是相对较小的零部件。

这也是协作机械臂能够发挥作用的原因。

Drew:但即使在汽车工厂中,仍然有一些任务尚未实现自动化,你刚才提到协作机器人,通常是什么样的设备?

Talla: 通常是六自由度机械臂,负载能力在5公斤、10公斤或者20公斤左右,可以与人协同完成任务。

Drew:刚才我们谈到了大语言模型如何调用仿真工具、创建仿真环境。除此之外,AI还通过哪些方式改善仿真技术?

Talla:实现通用机器人需要解决的一个重要问题,就是灵巧操作。

人手不仅能够操作刚性物体,也能够处理柔性物体。但要让机器人操作柔性物体,就需要理解相关物理规律,并相对准确地模拟这些物理过程。

直到最近一两年,大多数物理仿真器还主要面向游戏,或者流体动力学等特定任务。对于涉及物体形变、力和力矩感知的复杂物理过程,相关能力仍然不够完善。

这也是为什么去年我们与Google DeepMind、Disney Research合作推出了物理引擎Newton。Newton利用了MuJoCo的相关技术,整合了用于解决通用物理问题的各种求解器。

对于机器人灵巧操作来说,物理仿真非常重要。我们可以在Isaac Lab中结合Newton等物理引擎,开展各种策略评估,例如判断机器人应该采用什么方式来操作物体。

现在,借助Agent,我们能够开展更多实验,也能更高效地构建用于策略评估的仿真环境。

相关工作的效率正在提升一个数量级,甚至两个数量级。

三、VLA与世界模型走向融合,机器人或形成四层智能架构

Drew:Cosmos在其中发挥什么作用?我们之前在节目中已经多次讨论过世界模型,世界模型究竟是如何改进仿真的?

Talla:Cosmos本质上是一个世界基础模型,能够根据某个动作预测未来会发生什么。

要做出预测,就需要进行仿真;要进行仿真,就需要理解为什么要执行这个动作。因此,动作模型只是整个问题的一部分,主要负责生成和执行物理动作。

而像Cosmos这样的世界基础模型,则能够发挥仿真器、预测器以及策略评估工具的作用。

去年年初,最优秀的机器人模型还是VLA。但到了去年年底,大家逐渐意识到,仅靠VLA不足以解决所有问题。

所以,我们需要将世界基础模型与VLA结合起来,这也推动了WAM的发展。也就是说,机器人不仅需要执行动作,还需要知道执行动作之后会发生什么。

我认为,世界基础模型和动作模型最终会逐步融合。它们需要协同工作,也许未来某一天,这些能力会整合到一起。

Drew:今年世界模型的发展势头很猛,相比之下,VLA似乎正在失去热度。

Talla:我不会说VLA正在失去地位。你可以看看我们目前开源的GR00T N1.7模型。它采用视觉语言模型作为前端,动作模型作为后端。

我们未来还会推出新版本,大家可以继续关注。可以合理预期,未来模型的前端可能不再只有视觉语言模型,而是还会加入世界模型。最终,机器人仍然需要将这些理解和推理转化为具体动作。

执行动作的部分可以是VLA,也可以是WAM。但即使是WAM,仍然需要包含视觉语言推理能力。

Drew:你能进一步解释一下这里的前端和后端吗?听起来,语言能力仍然是这些模型的基础,未来也会继续如此吗?

Talla:首先,机器人需要理解任务意图,而任务通常是通过语言指令描述的。因此,模型需要具备通用智能,理解指令的含义以及周围环境的状态。

其次,机器人还需要理解自己所处的三维环境。

例如,你告诉机器人:“拿起那把扳手,把那个套筒拧紧。”这是一条语言指令,机器人需要借助大语言模型理解它是什么意思。同时,它还需要理解周围的物理世界。你说的扳手在哪里?要操作的套筒在哪里?扳手目前是什么朝向?相关的物理条件是什么?最后,当机器人理解了这些信息,并完成推理之后,还需要真正执行动作,向机器人发出抓取扳手的指令。比如,应该抓住扳手的哪个位置?

这其实是连续的过程。人能够很自然地完成这些事情,但我们的大脑实际上也在经历类似的处理过程。如果把这个思路放到机器人上,就是现在大家经常讨论

System 1主要负责快速响应和感知,System 2则更像是负责思考的大脑。

但未来机器人的智能系统可能不止这两个层级。System 1的运行频率大约是30至100Hz,类似于人类视觉等感知系统的处理速度。

System 2则负责思考和推理,处理时间可能是几毫秒到几百毫秒,有时甚至需要几秒钟。

对于纯粹的动作执行,可能还需要一个System 0。比如,当你碰到一个非常烫的东西时,你并不会先思考,而是会立即做出反应。

这种反应可能只需要一两毫秒,运行频率相当于1000Hz。因此,未来机器人的关节部位可能也需要具备一定的局部智能。

除此之外,我认为还可能存在System 3。

假设你一直在努力解决某个问题,但始终找不到答案,你会重新开始或者寻求帮助。

这就是System 3。它可以部署在云端,也可以部署在机器人本体或本地服务器上,具体位置并不重要。这个系统可能是一个规模非常庞大的模型,因为它需要具备更强的专业能力。

因此,未来机器人可能会结合这些不同层级的智能系统。

Drew:System 0到System 3是否分别对应不同的计算位置?比如机器人本体上的边缘计算,以及数据中心中的云端计算?

Talla:我认为,System 0最终会部署在机器人关节和执行机构附近。

以通用人形机器人为例,它很可能拥有100个甚至更多执行器。因为现在一只灵巧手就已经有20至25个自由度。未来机器人可能有三只手,我不知道,但至少会有两只。

再加上身体各处的关节,机器人需要控制大量执行器。因此,执行机构附近应该具备一定的局部感知和处理能力,不需要进行太复杂的思考。

System 1也很可能部署在机器人本体上,其运行频率大约为30至100Hz。

这和自动驾驶汽车类似。我们希望汽车自身具备足够的智能,能够相对自主地运行。汽车当然可以连接互联网,但有时可能没有网络连接,或者网络延迟太高。此外,本地运行也可能在监管要求和隐私等方面具有优势。因此,System 1很可能也需要运行在机器人本体上。

System 2既可以部署在机器人内部,也可以部署在附近的本地计算设备上。

你可以想象这样一种情况:工厂内部有一台大型计算机,但机器人本身的计算能力并不强,而这台计算机可以为它们提供智能支持。

此外,云端、电信运营商的边缘计算节点,或者其他附近的计算设施,也可以提供前面提到的“寻求帮助”能力。

未来,不同形态的机器人可能拥有不同的智能能力和机电系统能力,它们需要与数字AI Agent以及人类共同协作。这些系统还需要统一协调,因为不同AI系统的能力也各不相同。因此,我们需要在仿真环境中测试各种不同的机器人策略。

所以,未来机器人将采用边缘与云端相结合的混合计算架构,在仿真环境中进行大量计算和测试,再把结果部署到实际机器人上。

Drew:回到刚才讨论的模型架构演进,你认为世界模型和VLA之间的界限也会逐渐消失吗?比如一年之后,还会分别拥有GR00T模型和Cosmos模型吗?

Talla:它们在一定程度上会融合,我们已经开始看到这种趋势。

但机器人本体能够承载的计算能力是有限的。以人形机器人为例,受限于自身重量、尺寸、内部空间、功耗和散热能力,能够部署在本体上的算力有限。

目前,机器人还没有达到通用智能所需的准确性,因此仍然需要更多算力。在解决准确性问题之前,我们需要尽可能通过增加算力来提升模型能力。等到模型能力足够好之后,我们可以再想办法降低成本和功耗。

但如果本体算力不足以满足模型的需求,我们也可以采用另一种方式。比如在工厂内部部署工作站,甚至小型数据中心,为机器人提供计算支持。

目前,大多数VLA模型的参数规模在2B至4B。为什么不是20B或30B?主要原因就是机器人本体的计算资源有限,无法承载这么大的模型。

虽然每一代Jetson计算平台的性能都在大幅提升,但机器人内部能够容纳的算力始终受到限制。因此,未来机器人可能会采用混合计算架构,尽可能在本体上运行所需的智能能力,同时将部分计算任务交给其他设备。

Drew:最近,Physical Intelligence这家AI初创公司推出了用于提供机器人AI模型服务的API。你对此感到意外吗?

Talla:完全不意外。

十多年前,英伟达开始构建机器人平台时,就提出了一个想法:机器人需要三台计算机。

第一台用于数据生成和模型训练;第二台用于仿真测试,基于Omniverse平台,包括Isaac Sim和Isaac Lab;第三台则是机器人本体,负责模型的实际运行。

其中,机器人本体需要具备低延迟、高速度和高性能的智能大脑,连接大量传感器和执行器。未来,一台机器人可能需要连接数十个传感器和100个执行器,同时还要从设计之初就考虑安全性,以及开放的软件和模型。

除了这三类计算平台,英伟达还提供加速库、参考模型和相关工作流程,覆盖数据生成、机器人训练、仿真测试与评估,以及模型运行等环节。

例如,Physical Intelligence正在开发π0.5等机器人模型,也使用了英伟达的训练计算平台和相关工具。模型训练完成后,可以部署在英伟达Jetson计算平台上,也可以选择其他硬件。

如果模型规模较大,就可以通过API提供服务。这就相当于我们前面说的“求助”,让机器人在需要时调用外部模型的能力。

四、机器人ChatGPT时刻或在1至3年内到来

Drew:机器人领域有一种普遍观点,要实现类似ChatGPT的突破,开发能够理解物理世界的通用模型,需要大量数据。但我最近参加了一场会议,你的一位同事提出,整个行业已经积累了大约2000万小时的物理AI数据,也许数据量已经不再是主要瓶颈,你怎么看?

Talla:最初,研究人员主要依靠自己搭建设备采集数据。后来,随着遥操作技术的发展,可以通过人工示范,让机器人利用模仿学习掌握任务。

这些方法确实让模型能力不断提升,但仅靠它们还不够。

因此,第一视角数据变得越来越重要。过去一两年,无论是公开还是私下开展的数据采集工作,很大一部分都采用了这种方式。

至于数据是否足够,我认为,对于折叠衣服、抓取放置等特定任务,当数据量达到一定规模后,继续大量采集相同任务的数据,可能已经无法进一步提升模型的智能水平。

相比重复采集同一任务的数据,更重要的是增加跨任务数据,以及其他相关任务的数据。幸运的是,现在我们不仅能够继续采集真实世界数据,还可以利用Agent生成更多合成数据。

这样一来,从数据采集、标注到生成可用于训练的合成数据,整个流程的效率正在提升约100倍。未来6个月到一年内,我们可能会看到适应性、通用能力和准确性都明显提升的AI模型。

即使模型结构和算法没有发生太大变化,仅仅依靠数据方面的进步,也可能带来显著提升。

Drew:这也是世界模型一个非常好的应用场景。如果机器人在实际部署中出现一次失败,就可以利用世界模型扩展这条数据,比如生成1000个略有不同的仿真场景,让机器人针对这些情况进行训练,提高策略的鲁棒性。

Talla:我认为还可以更进一步。

世界模型不仅能让机器人从失败中学习,还可以提前预测可能发生的失败。

例如,如果我不断移动桌上的水瓶,就能大致判断它什么时候可能掉下去。这是因为我们能够根据物体的属性和当前状态进行推理。

世界基础模型也是如此,它不必等到失败发生后才进行学习,而是可以提前预测潜在的失败情况。这种持续迭代的过程,能够帮助机器人更快地提升能力。

Drew:按照目前的技术发展速度,你认为机器人什么时候能够迎来自己的ChatGPT时刻?

Talla:首先,我想明确一下自己对机器人ChatGPT时刻的定义。

机器人领域的ChatGPT时刻,是指数百甚至数千种应用场景达到之前提到的“10秒门槛”,而且不需要针对每项任务进行专门训练。

如果只是展示10个达到这一门槛的应用,也可以说机器人取得了突破,但这不是我所理解的ChatGPT时刻。

在ChatGPT出现之前,AI模型大多只能解决一两个特定问题。而ChatGPT带来的变化,是模型具备了更广泛的通用能力。

所以,虽然预测不一定准确,但我认为我们距离机器人ChatGPT时刻可能只有几年,也许是一年、两年或三年。

而且,实际进展可能比预期更快,因为技术进步并不总是线性或指数式的,有时会出现阶跃式突破。

比如,Astra的出现,在我看来就带来了约100倍的生产效率提升。现在,这些模型已经能够调用各种工具。我预测,利用现有真实世界数据生成合成数据的规模将出现爆发式增长。

这意味着,未来6个月到一年内出现的机器人模型,其准确性可能远高于目前最先进的模型。

对于我们关注的大多数应用,我相当乐观,认为距离达到技术可用门槛已经不远了。但这只是达到“10秒门槛”,真正实现大规模部署,就相当于赢得奥运金牌。

除了技术本身,还需要解决安全性、可靠性、法规和经济性等问题,具体进展也会因应用场景和地区而异。

Drew:未来客户部署机器人需要投入多少工作?

Talla:如果我们希望机器人实现规模化应用,尤其是进入中小型企业,客户自己需要承担的工作量就必须接近于零。

理想情况下,机器人进入工厂后,用户只需要告诉它要完成什么任务,它就能开始工作。用户完成示范后,机器人背后的数据采集、重新训练等流程都应该自动完成。

也就是说,用户不必关心系统采集了多少数据、进行了多少次训练,只需要告诉机器人哪里做得不对,再示范正确的操作方式,后续的迭代就会自动进行。

Drew:以目前的技术水平,这种方式已经能够实现了吗?还是说,我们仍然需要在持续学习方面取得突破,才能让机器人在工作中掌握新技能?

Talla:Astra已经带来了第一次100倍的效率提升,但可能还需要一两次类似的突破。

不过,距离实现这些能力已经不远了。因为我们已经知道这类技术能够做到什么,也知道接下来可以如何解决问题。

无论是在模型开发前,准备数据、训练出足够好的智能模型,还是在模型达到所需准确性之后完成部署,相关工作的效率都有望进一步提升。

但最终,问题仍然会回到模型本身:它究竟能多好地完成实际任务?现阶段,大量工作仍然需要集中在这一点上。

六、人形机器人或是研发通用“大脑”的最快路径

Drew:但机器人还涉及硬件,实现这一突破是否必须依靠人形机器人?

Talla:如果没有某种人形机器人形态,几乎不可能实现这一突破。

目前,真正具备灵巧操作能力的机器人还很少。如果机器人没有手,就很难具备通用任务处理能力,往往只能完成一两种或者两三种任务。

当然,灵巧手不一定必须安装在人形机器人上,也可以安装在工业机械臂或协作机械臂上。

但我认为,人形机器人是研发通用机器人“大脑”最快的路径。之后,我们可以将这种智能能力迁移到其他机器人形态,并部署到不同环境中。

Drew:为什么人形机器人是实现通用智能最快的路径?是因为第一视角数据与人形结构更加匹配吗?

Talla:数据采集是其中一个原因。

另一个原因是,现实世界中的大部分现有环境都是为人类设计的。物体的摆放位置、高度以及操作范围,基本都符合人体结构,尤其是非结构化环境。

而且,机器人不仅需要解决灵巧操作问题,还需要具备移动和导航能力。拥有类似人类的双腿,就可以在各种环境中移动。

但这并不意味着人形是所有工作的最佳形态。事实上,对于大多数任务,尤其是工业任务,人形机器人可能都不是最佳选择。工业机械臂、协作机械臂和自主移动机器人仍然会长期存在。

不过,在高度非结构化的环境中,比如工厂、仓库的一些特定场景,部署少量人形机器人可能是合理的。如果进一步进入家庭这样的完全非结构化环境,人形机器人可能更有优势。

另外,今天我们谈到人形机器人,通常想到的是身高约五英尺七英寸至五英尺十英寸、体重160磅左右的机器人。

未来新一代的孩子,可能从小就会与一台人形机器人共同成长。

这台机器人也许只有12英寸高,比Micro Ducks稍大一些,关节力矩很小,身体覆盖着柔软的毛绒材料,但拥有一个非常出色的智能大脑,可以随着孩子一起学习和成长。

随着孩子长大,机器人也会改变形态,同时保留过去积累的记忆。因此,未来机器人会出现各种不同的形态,有些可能更偏向社交陪伴。

毕竟,家庭里很少需要机器人一直搬运100磅的重物。如果偶尔需要搬运,可以让另一台机器人来完成。不同形态的机器人最终会有一个共同点,就是必须拥有足够通用、准确和可靠的智能大脑,否则很难真正完成有用的工作。

Drew:人形机器人究竟适合哪些工业场景?

Talla:如果某项任务或者一组任务的工作量足够大,而且其他机器人形态在经济性、可靠性、机电系统性能和生产效率方面更有优势,那么企业肯定会选择其他形态。但对于中小型企业来说,任务更加多样化,单项任务的产量也相对较低。在这些场景中,人形机器人可能会有更多应用机会。

这有点像数码单反相机和智能手机。单反相机在拍照方面可能更出色,专业摄影师会使用它,但大多数人只需要智能手机。

机器人也可能如此。未来通用人形机器人的产量可能超过其他单一机器人形态,供应链也会随之发展,从而降低制造成本。所以,这不是二选一的问题。专用机器人和通用人形机器人会同时存在,具体如何选择需要根据应用场景判断。

Drew:但工业机械臂、四足机器人也可以具备通用能力。比如,工厂可以配置布线、焊接等不同工作单元,再根据小批量、多品种生产的需求灵活调整。为什么一定要使用人形机器人?

Talla:在这种情况下,确实不一定需要人形机器人。

如果能够设计好工作环境,让不同形态的机器人适应多品种生产任务,同时把人形机器人上开发的通用智能能力应用到这些设备上,那么完全可以采用这种方式。并不是每一种应用场景都需要人形机器人。

Drew:最后,我想回到机器人ChatGPT时刻。工业机器人主要面向工厂和仓库,但对于普通消费者而言,你个人最期待哪种机器人应用?

Talla:对我来说,家庭机器人的最终应用可能是社交陪伴机器人。

它能够照顾老人,提供帮助,同时也能成为很好的陪伴者,理解人的需求。这是机器人能够为普通消费者带来的最大价值。它不仅能够完成我们不愿意做的家务,还应该具有同理心,理解我们的想法,并按照我们希望的方式完成任务。

从这个角度来看,家庭机器人真正迎来ChatGPT时刻,可能比工业和仓库场景更晚。后者目前对机器人创造经济价值的需求更迫切。

但从长远来看,我最期待的还是能够提供帮助和陪伴的家庭机器人。要实现通用机器人,我认为有五个最基本的问题需要依次解决:第一是通用任务的准确性;第二是可靠性;第三是安全性;第四是经济性;第五是良好的人机交互体验,不能让人感到不舒服或者害怕。

Drew:那么,社交陪伴机器人会在工业机器人迎来ChatGPT时刻之后出现,还是可能更早?

Talla:两种情况都有可能。

如果你想要一台具备较强物理操作能力的通用家庭机器人,能够搬运物品、帮助人类,同时又足够智能,那么这些能力可能需要先在工业场景中得到解决。

不过,这并不意味着我们必须等到通用家庭机器人的技术完全成熟,才能让机器人进入家庭。

现在已经出现了一些宠物机器人,它们的力和力矩输出能力有限,可能主要采用毛绒外形。就像Micro Ducks一样,它们不能完成太多实际操作任务。但它们可以成为很好的陪伴者,具备大语言模型交互能力和知识库,能够在一定程度上帮助用户。

所以,具备较强操作能力的通用家庭机器人可能需要更长时间才能成熟,而以社交陪伴为主的机器人则不一定需要等待这些技术突破。

Drew:消费者有时对机器人的可靠性要求没有那么高。比如机器人摔倒了,只要足够可爱,用户可能也能接受。但工业机器人通常需要与客户密切合作才能完成部署,这两类场景似乎有很多不同的权衡。

Talla:确实如此,但我的看法恰好相反。

在工业环境中,人类应该尽可能减少与机器人的直接接触。因为这些机器人可能需要搬运重物,执行高强度、高速度的任务。即使人可以与机器人互动,也不意味着一定应该这么做。除非确实有必要,否则双方应该尽量避免相互干扰。

而在家庭中,机器人可能需要帮人拿啤酒、取东西,因此安全性更加重要。机器人能够施加多大的力、产生多大的力矩,都需要考虑。即使只是人不小心绊倒机器人,也可能造成不良后果。

因此,工业机器人和家庭机器人都需要很高的可靠性,只是对可靠性的具体要求不同。

Drew:最后,你还有什么特别想补充的内容吗?

Talla:我记得我们今年3月在GTC大会上也交流过。但在物理AI和机器人领域,那感觉已经是10年前的事情了。因为当时讨论的技术与今天行业取得的成果相比,已经有了天壤之别。

我非常期待接下来的发展。等到明年3月春季GTC大会举办时,我认为今天讨论的很多内容,可能又会让人感觉像是10年前的话题。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 英伟达安抚机器人被投企业:物理AI投入不减,业务照常

    IT之家 11 月 18 日消息,科技媒体 Business Insider 今天(11 月 18 日)发布博文,报道称在黄仁勋突发离职后,英伟达及其风险投资部门 NVentures 已联系至少 3 家其投资的机器人初创公司,明确表示业务将“照常进行”,以稳定市场对其机器人投资战略的担忧。这一动作发生在临时 CEO 科

    来源 腾讯网
  2. 思灵机器人完成5亿美元融资,工厂自动化方案才是其核心收入来源

    总部位于德国慕尼黑的思灵机器人(AgileRobots)近日宣布完成5亿美元F轮融资,投后估值85亿美元。本轮由软银集团领投,英伟达、日立集团和T.Capital等参投。至此,思灵累计融资约20亿美元。按思灵的说法,它是欧洲估值最高的私营机器人公司。这条消息在国内被广泛转发时,标题和配图大多落在人形机器人上,有媒体直接

    来源 腾讯网
  3. 英伟达安抚机器人初创:黄仁勋离任后投资照常,已投超35家

    IT之家 11 月 18 日消息,科技媒体 Business Insider 今天(11 月 18 日)发布博文,报道称在黄仁勋突发离职后,英伟达及其风险投资部门 NVentures 已联系至少 3 家其投资的机器人初创公司,明确表示业务将“照常进行”,以稳定市场对其机器人投资战略的担忧。 这一动作发生在临时 CEO

    来源 AI 行业观察
  4. 雷军:具身智能机器人产业机会远超汽车,AI融入物理世界空间有多大?

    IT之家 11 月 17 日消息,2026 年 APEC 工商领导人峰会 11 月 17 日至 18 日在深圳举办,主题为“共促繁荣,共赢未来”。小米创办人、董事长兼 CEO 雷军认为,过去 4 年时间,AI 大模型的技术突飞猛进,给我们的生活工作带来了巨大变化。 雷军表示,当 AI 走向物理世界、与终端和各类应用场景

    来源 AI 行业观察
  5. 黄仁勋辞任英伟达CEO,新云扩张的垫资难题浮出水面

    一座AI数据中心最缺钱的那几个月,可能恰好是它一分钱算力收入都收不到的时候。芯片和服务器要订,机房要接电,工程款也有付款节点。哪怕机器未来有买家,只要今天没达到交付条件,今天的账单就得另找钱付。11月12日,英伟达宣布,黄仁勋辞去总裁、首席执行官及董事职务,首席财务官科莱特·克雷斯(Colette Kress)出任临时

    来源 腾讯网
  6. 雷军APEC谈具身智能:机器人产业机会将超汽车

    2026 年 APEC 工商领导人峰会 11 月 17 日至 18 日在深圳举办,主题为“共促繁荣,共赢未来”。在谈及具身智能技术发展时,小米创办人、董事长兼 CEO 雷军表示,自己相信具身智能机器人未来一定是一个巨大的产业机会,它的想象力会超过汽车产业。

    来源 IT之家
  7. 黄仁勋X账号改简介:CEO头衔没了,只剩“英伟达创始人”

    IT之家 11 月 17 日消息,英伟达前 CEO 黄仁勋的官方 X 账号 @JensenHuang 今天(11 月 17 日)更新,在个人账号中移除了原本标注的“CEO”职务头衔,账号简介目前仅保留“Founder of NVIDIA”(英伟达创始人)。 而此前在 X 平台,黄仁勋的账号介绍为“Founder and

    来源 AI 行业观察
  8. 英伟达董事会:未考虑让黄仁勋复职CEO

    黄仁勋 凤凰网科技讯 北京时间11月17日,据《金融时报》报道,知情人士称,尽管美国总统特朗普对于让黄仁勋(Jensen Huang)复职持开放态度,但英伟达董事会并未考虑重新任命黄仁勋为....

    来源 腾讯网
  9. 英伟达推Rubin HPC:超5万CUDA核心,押注AI智能体改写科学计算

    英伟达正将AI基础设施的竞争进一步延伸至科学计算领域。在11月16日于芝加哥举行的超级计算大会SC26上,英伟达发布专为科学计算、工程仿真和数据分析设计的新一代GPU Rubin HPC,并围绕CUDA-X软件库、光子计算和量子计算等领域公布一系列进展,试图将GPU加速计算、AI智能体与传统高性能计算(HPC)整合到统

    来源 腾讯网
  10. 蚂蚁灵波具身大模型挑战赛收官:TARS战队82.5分夺魁,48小时真机比拼

    【TechWeb】11月16日,蚂蚁灵波首届具身大模型挑战赛总决赛结果出炉。 来自福田实验室、西北工业大学、普渡机器人、天津大学的五位选手组成的“TARS”战队获得一等奖;华中科技大学、清华大学深圳研究院、湖北元一智能的三位选手组成的“EVA”战队,以及天津大学、北京大学、中国科学院自动化研究所三位选手组成的“SST”

    来源 AI 行业观察
  11. 浙商大会杭州开幕:王浩称浙商是浙江最闪亮的金字招牌

    11月4日,“天下浙商家乡行——走进世界互联网大会”活动在浙江桐乡举办。主办方供图11月10日,浙江省宁波市,埃美柯集团有限公司数字化车间内,智能设备全速运转、赶制订单。胡学军摄(人民图片)10月31日,浙江省温岭市,浙江钱江机器人有限公司生产车间内,工人开展机器人组装作业。段俊利摄(人民图片)10月21日,客商...

    来源 腾讯网
  12. 黄仁勋愿回归英伟达任CEO,董事会主席明确说不

    黄仁勋在社交平台发布辞职后的首次公开声明,表示自离职以来,收到了来自英伟达员工、投资者、商业伙伴及客户的强烈呼声,要求他回归。“如果董事会认为我的回归符合股东、员工、公司及美国的最佳利益,我将很荣幸回应这些呼吁并重新担任CEO。”

    来源 TechWeb
  13. 英伟达临时CEO克雷斯回应黄仁勋离职:客户没走,员工也没走

    IT之家 11 月 18 日消息,据 CNBC 今日报道,英伟达临时 CEO 科莱特・克雷斯(Colette Kress)表示,尽管黄仁勋已经辞职,但公司主要客户依然高度支持英伟达。 克雷斯强调,主要客户持续对英伟达的产品表达了兴趣。“有很多这些客户联系我,说‘看到一切都完好无损,真好。很高兴看到供应更多了。我需要更多

    来源 AI 行业观察
  14. 英伟达开发技术总监致函董事会:没有黄仁勋,员工就会离开

    11月17日,财闻海外资讯援引韩联社报道,英伟达(NVDA.US)开发技术总监纳迪尔·卡利尔(Nader Khalil)近日向公司董事会致信,强烈要求黄仁勋复任首席执行官(CEO)。据《华尔街日报》16日报道,卡利尔在信中主张,黄仁勋具备领导英伟达的“独一无二”的资格,并呼吁董事会在调查期间,暂缓作出仓促决定。卡利尔在

    来源 腾讯网
  15. 英伟达首破千亿季报:黄仁勋缺席,董事会拒绝其回归

    北京时间11月18日凌晨,圣克拉拉的财报电话会开场。主位上坐的人不再是黄仁勋。 营收1158.4亿美元,市场预期1091亿,同比增103%,单季首破千亿。数据中心1076亿,预期1018.7亿。非公认会计准则每股收益2.68美元,预期2.48美元。四季度指引中值1300亿,预期1251亿。 四个关键数字,全部高于预期。

    来源 AI 行业观察
向下滚动自动加载更多