帕西尼谈触觉与物理AI:机器人需要「手感」,还要跨过哪些瓶颈
过去几年,机器人“大脑”越来越聪明,但要真正走进现实世界,还差一样很重要的东西:像人类一样的触感,能感知物体,理解接触时的受力变化。 那么,如何让机器人真正拥有感知和理解物理世界的能力?接....
这几年机器人的「大脑」越来越灵光,可要真正走进现实世界,还缺一样关键的东西——像人那样的触感,能感知物体,也能读懂接触时的受力变化。
那怎么让机器人真正具备感知、理解物理世界的能力?话题得回到Physical AI的发展方向,看看机器人还有哪些技术瓶颈要突破。
许晋诚今天讲的主题是物理AI的
不少人觉得我们公司名字挺有意思,会问为什么叫帕西尼(PaXini)?原因在于人体皮肤里有四种不同的触觉感受器,其中一种专门负责感知纹理和高频振动,就是
手指上的触觉感知很关键。一只手端着装满水的杯子,另一只手拿着鸡蛋,凭触觉我们就能判断该怎么握。大脑处理手指传来的大量触觉信息,帮我们控制力度,鸡蛋既不会滑落,也不会被捏碎。触觉感知因此成了人体与物理世界互动的重要一环。
我们是一家全球领先的
许晋诚我们思考怎么和物理世界互动时,也在想智能如何存在于物理世界之中?这又带出更多问题:AI如果能思考,它能不能理解物理世界?
比如这张图,一个人在擦地板,机器人也在擦地板。机器人做着完全一样的动作,可它真的明白自己在干什么吗?我们擦地板时,要靠操作中的
缺了物理理解的智能并不完整。机器人从知道怎么做,到真的去做,再到稳定可靠地做到,中间还隔着很大的鸿沟。
所以我们想问:下一代AI该是什么样?它不能只理解指令,也不能只对提示词作出反应,还得与世界互动,让事情发生、带来改变。
世界也不是由像素拼成的,我们看世界并不只靠摄像头。现实除了我们看到的,还包括我们摸到、感受到、改变的东西。我们公司想做的,就是再往前推AI一把,让它真正理解物理世界。
这段动图演示的是:机器人借助触觉传感器操作时,能感受到自己是怎么抓住吸嘴、怎么抓取灯泡这些物体的。
在我们看来,AI必须超越观察——看到之后还要作出反应,或者与之互动。为了从观察走到互动,我们做了大量这类实验,希望机器人从被动感知转向主动理解物理世界。只有这样,机器人才能从现实中学习。
许晋诚智能需要的远不止文本这类知识,还需要更多经验。经验是什么?其实就是人类数据。机器人也许知道杯子是什么,知道杯子是圆柱形的物体。但它知道该怎么抓住杯子、怎么和它互动吗?未必。经验教会我们,也教会机器人如何行动、如何操作物体。
想要更多经验,就得建一个经验层,为机器人或物理AI提供经验,因为我们需要感知世界。图上展示的是我们数据工厂里的一个流程:人观察物体、与它互动,然后拿起瓶子,我们就能拿到与这类物体互动的数据。我们要建起这样的AI或机器人数据基础,让机器能从物理世界学习,这是非常重要的一层。
每一次互动,都是向物理世界学习的机会。数据采集不局限在固定地点的数据工厂,我们也希望机器人能在任何地方学习。所以我们提供了这样的设备,让大家在自己家里教机器人。每个教机器人的机会都想抓住,这就形成了
把物理互动转化为智能,也是关键之一。
动图里演示的是我们的一款手套,我们用它来教机器人。这不是遥操,我们用这些数据训练一个小模型,它就能非常精确地完成动作。
感知能力因此很重要,不管是对触觉信号本身的感知,还是与各种物体的交互,都是如此。通过学习,成功率能大幅提升,机器人执行的各种任务都适用。
有了这样的实验、让机器人从中学习之后,评测基准该怎么建?换句话说,怎么评估机器人完成的任务合不合人类的需求?有个很简单的办法:看机器人能不能处理以前从没遇到过的事物,比如它从没见过、也从没操作过的物体。
现实世界才是检验机器人的最终考场——能把这些物体处理好,才说明它具备在真实环境中施展智能的本事。说到底,机器人和物理AI得建立在可衡量的真实世界交互之上,这又绕回了我们的
许晋诚接下来,我想再介绍一下我们的
P是perception(感知),I是intelligence(智能),E是execution(执行)。对每个机器人来说,这三种能力都缺一不可。通过帕西尼的
先说感知这部分。图上是一只搭载触觉传感器的灵巧手,指尖正捏着一根细针,人轻触这根针时,指尖的触觉传感器能迅速感知到外部接触和受力变化,驱动灵巧手作出后撤反应。机器人有了感知能力,就不只是完成一个简单的捏取动作,而是能感知外界接触,与人安全交互。
我们的感知能力建立在自研的传感器芯片之上。
眼下机器人在我们产品线里覆盖了不少形态,关节处的扭矩传感器、末端执行器上的部件都在其中。这项技术远没到天花板,很多还没被想到的需求它都能接住。最近找上门的客户不少,都想在机器人身上装不同种类的传感器,有些应用场景我们此前压根没见过、也没听过,机器人公司提的这些需求挺让人意外。
智能这块,帕西尼建了数据工厂,这是公司的一个重头项目。现在已经能拿到超过100万小时的高精度人类数据,触觉感知信息也在里面。靠着这项技术,我们布了五座数据工厂,这些数据能拿来做预训练、后训练,甚至支撑终身学习,对机器人本体来说分量很重。
可拿到数据之后,机器人怎么从里面学东西?我们为此做了一个面向机器人的飞轮算法模型来做验证。模型自身的作用也不小,或许能帮机器人实现某些能力。语言信息我们照样用,视觉信息和机器人自身的交互信息也会用上。除此以外,触觉感知更关键,我们会把它利用起来。
接着是PIE的最后一块,执行,这也是机器人最要紧的能力之一。感知再完美、大脑再聪明,机器人也得有足够好的执行层,比如完整的本体,以及机器人手这类末端执行器。这些条件齐了,机器人才能在现实世界里转起来、把任务完成。
所以这个执行层我们要自己搭,去设计各种不同类型的机器人手。对不少机器人公司而言,手的设计都举足轻重。帕西尼这边,灵巧手的设计可以开源,提供给有需要的机器人公司。设计上我们也在可靠性方面改了不少,比如主打产品之一的灵巧手。
许晋诚最后说,除了把感知、智能、执行组成PIE,我们也想构建另一种东西。于是就有了两种不同的PIE:一种让机器人具备和物理世界交互的本事,另一种是把开放的生态建好,让每个人都能有自己的机器人,用自己的技术把机器人开发成功。
我们想用一个PIE给未来造出无限可能,也希望每个人都出一份力,构建自己的PIE,或者一起共建我们的PIE。从技术角度看,我们希望人人都能拥有自己的机器人,把劳动力解放出来,在物理世界里多享受些乐趣。那些累人的活和任务,交给机器人去干就好。希望大家喜欢我今天的演讲,非常感谢大家。
以上是许晋诚博士在活动上的分享。当机器人能感知环境,还能从一次次操作里攒下经验,它们离真正挑起更多工作还有多远?