乐享科技李元庆:家庭机器人30千克、底盘45厘米,怎么落地
具身智能在家庭场景的落地正从概念验证走向产品化探索,但如何在非结构化环境中实现长时序任务、多模态交互与持续成长,仍是行业共同面对的难题。 本文整理自乐享科技联席 CTO、穹明智能总经理李元庆在 AICon 全球人工智能开发与应用大会 2026 深圳站的分享《轻量化异构双臂 × VLA/世界模型:家庭服务具身机器人的落地
家庭场景里的具身智能,眼下正从概念验证往产品化方向探路。难题也摆在面前:环境是非结构化的,任务往往拉得很长,还要应付多模态交互,并且得持续学新东西,整个行业都绕不开这几道坎。
乐享科技联席 CTO、穹明智能总经理李元庆在 AICon 全球人工智能开发与应用大会 2026 深圳站做了分享,题目是《轻量化异构双臂 × VLA/世界模型:家庭服务具身机器人的落地实践》。他讲的内容包括家庭机器人该长成什么样、本体如何做得轻、软件架构怎么分层,以及从仿真到真机的数据闭环怎么跑。其中重点谈到 rule-based 与 modular-based 两种策略如何配合、端到端方法在现实约束下还差多少、软硬一体开发中自动化代码生成的做法,还有机器人自我进化系统 RSI 该怎么搭。
下面这段演讲实录由 InfoQ 在不改变原意的前提下编辑整理。
背景与挑战:家庭机器人离真实需求还有多远
说实话,to C 具身智能是不是已经到了落地的时候,大家心里还有疑问。可家庭里的需求确实摆在那儿。谁都希望家里有个机器人,替自己多干点活。我们对厨师、保姆、阿姨的期待,说到底就是想从大量重复家务里脱身。这几年工作日大家越来越忙,不少人干脆点外卖,不做饭了。那周末能不能把时间留给自己?这些事在 to C 场景里空间很大。
在具身智能这条赛道上,数据、本体、场景和硬件就像一只手的五根指头,攥到一起才成拳头。这个比喻挺形象。做机器人的团队,现在这几个维度还没真正解开。做硬件的、做模型的、做软件的,彼此之间要磨的地方还很多。道理不复杂:搞 AI 的人会盯着数据和落地成功率干活,场景决定数据结构,数据结构又决定模型的参数量和形态。真机里一旦加上 physical 本体,本体产生的数据中,on policy 强化学习和 post training 那部分照样关键。硬件本体、数据采集和策略训练并没有彻底分开,它们本来就是绑在一起的。
家庭机器人的理想和现实之间,差得还挺明显。to C 的好处是数据 diversity,AI 的整个基线有可能跑得更快。应用端也能借 IP、情绪价值和营销策略,让用户早点接受产品,这是 to C 和 to B 不同的地方。可 to C 的本体往往还比较笨重,能不能更轻、更小,是个很现实的问题。拿杯水这个任务看着简单,放到复杂家庭环境里其实是长时序任务。机器人得先找水,找的过程中可能要先开一扇门,走到冰箱旁,拉开冰箱门,再从冰箱里把那瓶水找出来拿走。整个流程是 long context,也是 long horizon 的任务。交互的多模态和情感化同样不能少。用户说“帮我拿一杯水”,如果机器人只是个多模态模型,它怎么知道哪一杯是用户的?这要靠前面的 memory,也要靠很准的 reasoning 才能完成移动。
非结构化的家庭环境是另一道关。这几年有些团队在做酒店、康养这类半结构化场景,家庭却始终是最后一个复杂、高动态、高灵活度的地方。此外还有隐形的意图和长短记忆问题。用户一句话带的信息量其实很少,机器人要把任务做对,难度极大。“出厂即精英”这个假设也不符合实际。调研中我们的感受是,机器人进家门时更像个笨笨的小朋友,它得跟阿姨一样熟悉用户的生活习惯。比如用户说“帮我拿杯水”,早上九点拿的可能是白水,下午三点拿的可能是冰可乐。这些上下文习惯必须被长期记住、长期学习,这事才真有可能做成。
产品形态与轻量化本体设计
从 to C 的考虑出发,我们定的产品策略比较务实。机器人进了家,先要回答自己到底是什么:工具、家电,还是家庭成员?我们把产品身份分成三种形态:pet、partner、assistant。
三类产品的定位分得很开。Pet 提供的是情绪价值加功能价值,形态上更接近日本早前 LOVOT 那类有点笨拙的机器人,用户获得的是多巴胺和催产素分泌带来的感受,买不买主要看营销和情感推动。Partner 走的是养成路线:刚进家门时,情绪价值占一半,在互动和简单移动操作中给出情感层面的理解,基础任务也能完成,还会在这个家庭里不断成长。Assistant 则只讲功能价值,类似钢铁侠里的贾维斯,或者那个笨笨机器人替你拎灭火器去喷着火的工作台。在我们看来,未来具身智能进入家庭,最贴近真实的产品形态就是这三类。
这些形态背后,我们在整个公司体系下做了些前沿探索。技术侧自研了高扭矩密度电机。之所以自己动手,是因为前两年在国内供应链里找能把机器人做轻做小的方案时受了限制。想让机器人保住同样的末端负载和同样的工作空间,电机就得尽量做小,这样上半身才有机会做轻,底下也能做轻。这是轻量化最本质的路。情绪识别上,我们发现语言里带的信息太少,能不能把语音的语调、语速也当参考输入,把人的表情、说话时间和前面的上下文联到一起,这是智能大脑的一部分工作。机械臂、灵巧手和 VLA 模型共同组成智能大脑,这点后面讲软件架构时会展开。
我们不久前推出了一款轻量化的家庭协作机器人。整机重量目前是 30 千克,还在继续往下减。底盘做得不大,直径仅 45 厘米,比扫地机器人大一圈,差不多是一个大号花盆的尺寸。升降范围覆盖 82 厘米到 147 厘米:降到 82 厘米时,它蹲在那里像家里一个稍大的桶;升到 147 厘米,则接近身材矮小的女生操作时胳膊的高度。
目前我们一共做了三个版本,大家看产品时会发现,两个机械臂有的相同、有的不同。两个七自由度臂的那套方案,对应的是这几年业界常讲的 data driven 思路——靠 common sense 策略,用接近人胳膊的自由度去把同样的事干成。可这对本体要求极高。另一套则是一个四自由度臂搭一个七自由度臂。为什么这么配?人本来就分左手右手:穿针引线的时候,左手多半管握持和约束,右手负责精细操作。拧瓶盖也一样,人其实是两只手一起使劲,但放到标准笛卡尔空间里看,左手固定住就行,握持做扎实,精细活儿交给右手。四加七的结构就是这么来的。
四自由度这一侧,整条臂可以做得非常轻,配上拖链和型材结构,往高处动作时要对抗前后摩擦力,但抬起本身很轻,整套策略就依赖一个稳定的约束。单看这半边,它是一个标准的笛卡尔坐标系,对 AI 算法来说,做 manipulation、动态视觉追踪和策略都轻松不少。底盘有两种,全向轮和差速轮,选型依据是成本和实际业务里的发现。机器人会缠头发、要过小门槛缝、用户对柔性灵活度有要求,这些我们都做过大量测试。最后推出眼下这三个产品版本,是希望用户用起来能感受到工程师设计时的认真。
我们还发了一支产品视频,画面是温馨的艺术化渲染。片子里呈现的是一个理想场景:家不只是一间房子,有人提前把你生活里的杂乱理顺,每句叮嘱都有着落,小恩协作机器人会把你顾不上的小事一件件记在心上,出门提醒你带上口袋里的爱心,累了轻轻接住你。视频当然是艺术渲染出来的,不过大家可以从中体会一下:如果这机器人全靠遥操作,它能覆盖的工作空间和想象空间究竟有多大。下面我讲讲它的技术底座,以及实际做到了什么。
软件架构:rule-based 与 modular-based 如何分层配合
软件这块,我们的思路是分层来做。这几年 agent 听得多了,再往前两年端到端听得多了。rule-based 这个词现在听着可能有点陌生,其实它在这条赛道上已经待了很久。状态机、behavior tree 都是 rule base 的典型代表,说白就是遇到某个情况就产生某个行为,跟 switch case、if else 差不多。扫地机里早就攒下大量这类经验:卷进窗帘退出来,卷上地毯退出来,被门挤一下也退出来。这些都是工程师们积累的 corner case 和长尾问题。家里并不是从来没进过智能机器人,扫地机器人进过门,它在移动导航和避障上攒的经验很有价值。那能不能把这些高解释性、高可靠、低成本的策略拿来给机器人兜底?这就是我们的第一层,它有点像无人驾驶里的 questions 和 checker,担的是安全兜底和基础行为保障。
第二层是 modular-based。这一阶段大家做的策略很像 agentic 架构:perception、decision making、reasoning、memory,再加上后面的 action 和各类 skills,全都拆开去做。这事挺有意思,因为靠 modular-based 策略,能先把一个机器人的软件体系完整地串起来。它看起来可能慢,泛化也不够强,但它能把前面那些可解释的环节连通。它主要解决了一个困扰行业很久的问题:可控的 AI 到底怎么做?后来我们想明白了,可控的 AI 能归纳成一句话——让每个模块都完全可控。这话听着抽象,核心是不许把所有模块细节都变成黑盒,中间必须有一段是拆开的。拆开之后,显式的结构特征就露出来了。早期可能是专家网络或者稠密结构,借助这些显式结构特征,机器人能很快学会一样东西,做到 few shot,从而把端到端现阶段难落地的部分替掉。
端到端仍然是要努力攻克的方向。眼下在 modular-based 架构里,perception 环节得反复看同一个东西,调摄像头的次数很多。端到端则像看一件事就推一个 chunk,摄像头调用次数大幅下降,能耗能压下来,模型会变小,API 调用次数也减少。只要想到一天落地运行下来,稳定性和能耗就是绕不开的问题,端到端必须做。而且端到端的信息利用效率最高。modular-based 阶段我们做分块,是因为自然语义文本和环境信息里装的东西太少,必须在合适的节点把最合适的数据喂进去,不然有的地方数据浪费,有的地方又实在不够。这一页内容做得比较早,后面的论文更新会再展开。
软硬一体这件事摊开来看,我很早以前就开始做机器人,那会儿 state machine 和 behavior tree 用得比较多。最真实的感受是,这几年大家讲 AI 讲得有点乱,总说 AI 和 data driven 体系要重做一遍。可真去细看,很多东西变化没那么大。研发策略和研发效率得在 artifact 这一层拆清楚。硬件这层,我们靠自动化策略把解决问题的速度提上来。这几年新名词确实冒出不少,可本质上都是我最开始做传统机器人赛道时就在用的东西。蓝色标注的部分是现在新加的。AI 对机器人开发者的意义,在于它把能力边界撑大了,性能有机会做得更高,这些蓝色空间给机型带来更多能力。AI 在 robotics 能力上的赋能确实很大。
软硬一体方面还有一项新进展。此前在成熟硬件本体上,机器人已经能完成通用的物体放置,以及刚性物体、尺寸均匀物体的操作,成功率在当时就能做到百分之百。这套做法跟早先大家用 grasp net 识别抓取位姿、再用 IK 执行的路子差不多,技术已经成熟。今年团队在做的是:在自由度高、约束复杂的情况下,把 WBC 的整套 control 做得更强,让机器人跟随更稳、避障更准,模式层的能力也更好。更让讲者自豪的是,这部分代码已经不由人来写了。在某个仿真的小 simulation 闭环里,机器人能自己做 evaluation,AI 自己去改代码。人参与的部分,主要是在决策链条里通过一些 checklist 选择哪条路径收敛更快。最终看到的结果是,硬件本体在那里的任务成功率越来越高。
从 modular-based 到端到端的工程演进与仿真闭环
从整个 infra 来看,这几年做 VLA 或者 VAM 的人确实做出了一些不错的东西。但说到底,核心还是 sim to real,也就是强化学习那一套,加上后面的 behavior cloning 几条路线。这里想聊的是机器人赛道里所谓的 RSI 可能指什么。简单说,就是把 target model 构建、system model 构建中间的 development、deployment、verification、evaluation 串起来。设定一个目标之后,能不能把 system 友好地整合到一起;这个 system 包括 robot 本体、hardware、software 和整个架构。development 指的是开发过程中你做了什么,团队做的是前面的 modular-based,然后往端到端再往上一层走。
deployment 这一环,难度被大家看低了。单做一台 deployment 并不难,可数量上到三十台到一百台,问题就来了:边端推理能力得靠云端厂商,数据传输和信息链路都要求非常稳。再往下一层是 verification——任务有没有完成、什么成了、什么没成、在哪儿出的问题、怎么出的问题,都得先定义清楚,再做评估。这里可以打个比方:做一台好机器人,好比刀和尺的关系。尺子足够强,才有机会打出更好的刀;精细的刀再配上这把尺,才能形成闭环,让事情越做越好。说到底,RSI 的根基是一套自动化系统,缺了它,evolving 或者 evolution 就无从谈起。
演示里,用户一遍遍问机器人状态:“小恩小恩,录制得怎么样了?”“小恩小恩,结束录制。”“小恩小恩,构建的怎么样了?”机器人回的是“构建进度 60%、空间定位完成”。紧接着指令换成挂饰、物体是个逻辑等。用户又问:“小恩小恩,你的记忆里有什么?”它报出视频、遥控器、仪表盘、鞋子、小包裹盒、显示器和音响。随后一句“小恩小恩,帮我拿瓶可乐”,机器人答要先去看一眼,确认目标物品再执行抓取。这场演示很能说明 agentic 架构,或者说团队口中的 modular-based 架构,到底是怎么回事。关键在于整个过程没有一处 hard code,全靠系统一层层叠出来。前面提过,在 simulation 里 AI 自己的验证功能已经跑通;如今在 real world 下也完成了一部分验证,视频里呈现的就是眼下能看到的效果。
机器人的智慧没人类那么强,reasoning 因此做得更绕。人类的 recognition 本事比想象中大得多,机器人看东西却像近视眼:一上来视野是糊的,先把整体语义搭起来,用长链条大致摸清每个房间有什么、东西在哪儿。放到家庭场景里,它得判断自己是在厨房、卧室还是客厅,也得知道家具这类东西不会变——桌子、椅子、柜台,甚至门,从房子建好的第一天起就待在那儿。门之上的所有物品,团队用类似八叉树的策略把彼此关系建起来。找东西跟近视眼找东西一个路数:先瞧见一个模糊的位置,判断哪个东西像目标,再做 template 匹配、多模态识别、槽位和微辨识,大致锁定位置之后,才“戴上眼镜”凑近细看,找到并带回来。大家看到的任务链条时间挺长,成功率却提了很多。现阶段这比纯端到端效果好不少,而且它确实具备泛化性,是靠有限能力把任务做成的一套办法。
在这些 modular-based 的基础上,团队也在看怎么在小的 skills 上、在 action experts 这一层做得更好一点。大家之前可能比较熟悉 digger 或者 husserl,以及强化学习之后的很多东西。团队做的事情是把策略里的各种数据策略都走了一遍。比如做了自己的 UMI 夹爪,虽然没有产品化,但在实验室里一直在用;一臂的策略也做了,centridig 的策略、后面 in the loop 的策略全部过了一遍,并且自己搭建了整套 simulation evaluation 的 loop。团队尝试在采集数据的过程中,把数据清洗和上传链条在云端完整搭建出来。实际的效果是,用各种各样的数据做了各种各样的训练,把真实实验室中的流程搭建了出来,去构建小的 VLA、小的 VAM、小的 skills。得出的结论是,之前做的有些东西很值得参考,七比二比一是目前拿到的一个比较真实的数据结果。
今年上半年,我们把目光投向 human centric 方向。具体做法是先拿人的第一视角,让人用手完成一些简单操作,再把其中的 assumption 提取出来,放到下一件事上验证,把多余的部分删掉;随后加入仿真的隐形机械臂,把机械臂的工程、IK、动力学和运动学都模拟出来。最初做这件事,是为了提升 human centric 对遮挡物体的想象能力。这一块对应的是李飞飞老师近来反复强调的 real to sim to real。围绕这条链路我们做了不少工作,也希望大家能一起看到未来。
demo 这一层我们投入得更多。早期用 oppa max 机械臂做放木块的任务,一旦发现中间某个环节不够成熟、成功率偏低、方向走偏,人就会介入。小空间里的意见需要专家来给,看看怎么把成功率做上去,再由人工介入纠正机器人的策略。力反馈、主动服务,说的都是在同样空间里由人介入纠正策略。我们在 demo 体系下做了大量工作,把它磨成了内部使用的实验平台。采集二十条、三十条数据之后,情况很明确:小物块这类精细化操作,此前在仿真上的成功率只有 30%左右,采用这种操作方式后能提到 60%;后来又做了一些更优的操作,成功率进一步升到 90%。
整个探索过程,其实就是从 demo 一步步走向产品化。前面提到的那些工程细节,本质上不是在做一个 simulation demo,而是在打磨更可靠的产品。我们从工作堆砌转向场景深耕,从技术驱动转向数据驱动。这几年最真实的感受是:不再需要那么多工程师疯狂去写 corner case,也不必为每一个长尾问题耗掉大量时间。AI 在 simulation 和 real world 里确实表现出了很强的效果。数据拿回来之后,只要建立了较好的数据采集方式,并增强了 verification 和 evaluation 能力,AI 就能理解自己究竟做了什么、错在哪里,并从中找到改进的办法。这就是数据驱动带来的质变。
另一个重要转变,是从单机智能走向家庭共生。机器人会慢慢成为一个 member,而要成为 member,需要用户和机器人一起成长。我们最终希望做出出现在家里的 pet、partner、assistant,这是真实的期许。
工程实践中,自我进化系统的构建是一个持续迭代的过程。仿真里我们搭起了自动化验证闭环,让机器人自己去做 evaluation、自己改代码。这个闭环既提升了开发效率,也把人从大量重复性工作中解放出来。人参与的部分越来越少,主要决策集中在选择哪条收敛路径更快。这套体系从仿真延伸到真机,真实世界中还有不少细节要处理,但已经完成了一部分验证。随着 verification 和 evaluation 能力不断增强,机器人在环境中的表现会越来越稳定,从能完成任务走到能可靠地完成任务。
把视线拉远一点,机器人赛道里的 RSI,说到底是在搭一套能自己迭代的系统。目标模型、系统模型、development、deployment、verification、evaluation 串成一个闭环,这个环转得动,机器人才谈得上持续进化。光停在仿真里不行,得跟真实环境接上。仿真中成功率能跑到百分之百,可真实环境里的长尾问题照样一大把。我们的打法是先用 rule-based 兜住高可靠性,再用 modular-based 做出可控的智能,然后一步步往端到端走,眼下产品落地要的稳定性有了,后面的技术升级也留了路。
做机器人这件事挺浪漫,也让我觉得有使命感,公司里很多小伙伴都认这个理。我们想造一台伟大的机器人,也希望大家拿它去做伟大的事,这是我们对机器人最实在的期待。用户看到的应该是一个稳定、好用的平台,机器人则要能自进化——在仿真里进化,在真实世界里进化,最后在用户手上完成真正的进化。从堆工作到深耕场景,从技术驱动转到数据驱动,从单机智能走向家庭共生,这三条路正是我们在走的。我们也想跟伙伴、开发者一起把软件的进化生态建起来,让每台机器人都能为这套系统出一份力。
热度延续:12 月 AICon 北京站见
AICon 全球人工智能开发与应用大会定在 12 月 18–19 日于北京举行。这一届以探索 A 应用边界为主题,铺开 13 大技术专题,大模型后训练、推理优化、Agent 工程、知识工程、智能体评测与安全、自进化系统、AI 软件交付、原生架构及组织变革等核心方向都在其中,一线技术专家会到场,把 AI 技术突破和企业规模化落地的真实做法讲透。