华为诺亚HiPhys-RSI夺BEHAVIOR-1K挑战赛冠军,Q-score约0.683
机器之心发布华为诺亚具身智能团队 The North Star 凭借 HiPhys-RSI 方案,在 BEHAVIOR-1K Challenge 2026 国际具身智能挑战赛中从全球 57 支参赛团队中脱颖而出,以绝对优势夺得冠军,在覆盖 100 项家庭任务的隐藏测试中取得约 0.683 的 Q-score 和 48.
华为诺亚具身智能团队 The North Star 拿下 BEHAVIOR-1K Challenge 2026 国际具身智能挑战赛冠军。其 HiPhys-RSI 方案从全球 57 支参赛团队中胜出,优势明显;在覆盖 100 项家庭任务的隐藏测试里,Q-score 约 0.683,完整任务成功率 48.2%。
这是第二届挑战赛,平台为斯坦福大学李飞飞团队开发的 BEHAVIOR-1K,并与机器人领域顶级会议 CoRL 2026(11 月 9 日至 12 日)联动。赛事围绕整理、清洁等真实家庭需求,综合考察机器人的高层推理、跨房间导航与双臂精细操作能力。
李飞飞也在社交媒体发帖,称机器人学习正取得令人瞩目的进展,并邀请更多研究者关注 CoRL 2026 的 BEHAVIOR Challenge。
BEHAVIOR-1K 是检验具身智能系统综合能力的高门槛“试金石”,聚焦长时序任务,与侧重场景泛化的 Robodojo 并列 T0 级具身智能榜单。短时抓取和单一技能评测之外,它要求机器人靠机载视觉、深度及本体感知信息,在数分钟级长时序任务中连续完成多物体交互、状态变化处理与多技能协同,对任务规划、感知与动作协同及执行稳定性要求严苛。
12 个任务成功 rollout。
面对这类长时序、多技能协同的复杂挑战,业界目前仍主要沿用 AI 领域最熟悉的 Scaling 路径:更大的模型、更多的数据、更高的计算投入。
知识、规则和操作流程的沉淀,是 AI 能力提升的另一条路子——系统由此学会推理、组合与执行的方法。符号 AI 在早期就一直在摸索这条路,机器人领域同样攒下了不少感知、规划和控制方面的工具。
大模型如今已经能编写程序、使用工具,并根据执行结果修改方案。这两条路径之间,是否出现了新的连接?
华为诺亚团队在夺冠方案的技术报告《Scaling by Structure: What Forms Can Scaling Take in Embodied AI?》里,把 Scaling 这个问题问得更宽了一层:具身智能能不能靠搭建并持续改进结构化、可执行的知识与技能,让能力不断往外扩?
他们的做法,是把可执行程序连同背后的工具、约束和经验一起当作能力沉淀的载体。编程智能体负责搭起、检验并完善这些结构,机器人借它们完成任务,跑出来的轨迹再反哺视觉 — 语言 — 动作模型(VLA)的训练。
这样一来,“系统手里到底攥着多少可执行技能”,也就成了衡量具身智能能力增长的又一个维度。
经典机器人方法,怎么走向可扩展的知识体系?
机器人领域本就不缺管用的手段:几何推理负责空间关系和碰撞,SLAM 管定位与建图,任务与运动规划把逻辑决策和执行可行性接起来,反馈控制则不停修正执行中的误差。
问题是这些方法各有各的适用条件。换任务、换环境,就得重新组织信息流、对接模块接口、排定操作顺序,还得照着物体几何和场景约束去调策略。场景一变,原来的流程可能就得换抓取方式、换动作顺序,或者补一套恢复机制。
结构化机器人系统想扩展能力,卡点也在这里:任务越铺越多,搭建和维护解决方案所要投入的人力也跟着涨。
编程智能体正好能接掉其中一部分活。它能读执行日志、看视频、找出失败在哪,改工具改程序,再跑一遍验证。改对了的就留下来,变成后面任务可以调用、可以调整的知识。
泛化因此又多了一层意思:系统能拿现成的工具和经验,给新任务搭出、适配出解法。
这种能力能扩到多大,一看覆盖了多少任务,二看每多一项任务要花多少工程和交互成本。报告用实验把这两头都看了一遍。
HiPhys-RSI:把交互经验变成可执行结构
华为诺亚团队提出的方案名为 Hierarchical Physical Recursive Self-Improvemen(HiPhys-RSI),也就是分层物理递归自我改进框架。它拿参数冻结的编程智能体与视觉语言模型(VLM)当底座,在训练实例里搭建并不断打磨能自主执行的机器人流水线。
图 1|HiPhys-RSI 总体框架。智能体靠任务体验、程序构建、执行分析和迭代改进攒下可执行知识;到了推理阶段,再按任务条件挑现成的流水线或 VLA 策略。(报告图 1)
第一步,智能体去读任务说明和参考示范,再借助工具调用攒交互经验:哪些操作管用、步骤之间有什么依赖、什么样的观测能说明任务在往前走。
接下来,这些经验被整理成程序。感知输出怎么用于规划、控制器什么时候执行、失败之后怎么处理,全都靠明确的信息流和条件逻辑串起来。流水线搭好以后,能依据自身的检查和分支逻辑自主跑完。
跑出来的结果再进入下一轮分析。日志交代程序调用了什么,视频则显示物理世界里真实发生了什么:轨迹走完了,物体是不是真挪到位了?抓取指令返回成功,物体是不是还留在桌面上?智能体就凭这些证据找出该改的模块和策略。
改动可能落在高层的工具选择、步骤编排和恢复逻辑上,也可能一直钻到底层工具的实现里。构建阶段还能让人工纠正介入,给复杂问题指个方向。验证过的程序和经验会被留下来,之后别的任务可以拿来当可复用组件。
同一个案例的真实迭代记录也在其中,包含失败现象、改了哪些内容、再次执行的结果,并注明人工参与的环节。
整个过程中,编程智能体和 VLM 的参数一直冻结,改进都存进可执行程序和结构化知识里。系统最后用能力卡记下各条流水线和 VLA 的适用条件、历史表现和已知难点,推理时据此挑执行组件。
从工具到流程,再到能复用、能拼装的流程,结构化知识就这样一层层攒了起来。
100 项家庭任务,对比两种能力增长方式
团队在 BEHAVIOR-1K 的复杂家庭仿真环境里验证这条路。评测涵盖 100 项任务、八类能力,包括移动取物、摆放与分类、精细操作、工具使用、倾倒、设备操作以及物体加工。
这些任务要求感知、决策和动作持续配合。找到目标后能不能靠近,抓稳物体后能不能搬走,做完一步能不能接上下一步,都会左右最终结果。
团队拿2025年BEHAVIOR Challenge的冠军方案打底,改出三组VLA设置来做适配和对比:一是在全部100项任务的示范数据上联合训练一个epoch(Meta-1-Epoch);二是从该检查点出发逐任务做后训练(Per-Task Post-Training);三是在同样的全任务示范数据上联合训练两个epoch(Meta-2-Epochs)。所谓一个epoch,指把一轮训练数据完整走一遍。逐任务后训练的做法,是把基准示范和程序生成的轨迹混在一起,每项任务单独训一个策略,同时加入深度、相对机器人位置的几何信息等三维输入。效果因此同时牵扯任务适配、数据补充和表征变化三件事。这三组VLA,既单独执行任务充当对照,也在最终系统推理时作为可选的策略。
图 2|HiPhys-RSI 与三组 VLA 在 100 项任务上的成绩对照。每条径向柱对应一项任务的得分;A–H 分别指移动取物、一般摆放、匹配放置、精细操作、工具使用、倾倒、设备操作、物体加工。(技术报告图 2)
报告里的实验中,HiPhys-RSI 最终这套混合系统在几乎所有任务上的得分都高过被比较的 VLA 方案,八类任务全部覆盖。
训练方式的作用,在不同VLA设置上看得很清楚。按当前配置,全任务联合训练多跑一个epoch,增益比较有限;逐任务后训练把部分任务的表现拉了上去,可各类别之间的强弱分布大体还是原样。说到底,这些结果只反映本次实验条件下各配置的表现。
结构化系统走的是另一条路:靠显式分工来应付这些要求。感知与建图模块给出场景信息,程序负责组织任务逻辑和约束,具体的规划与控制方法去完成动作。编程智能体依据反馈调整它们的组合与实现,让已有的机器人知识能适应更多任务条件。
实验把Scaling的讨论推到了整个系统层面:训练怎么增强策略能力,结构又怎么组织和扩展已有能力。
结构如何 Scale:从能力组合,到策略发现
比最终得分更关键的一个问题在于:结构化知识的增长过程究竟长什么样?
图 3|流水线是怎么一步步改好的。左侧展示整体任务得分随迭代的变化;中间给出各项任务所需迭代次数;右侧反映不同技能在流水线中被用到的频率。(报告图 3)
报告中的曲线分三段走:先是快速抬升,接着进入平台期,再靠持续探索拿到一些增益。
早期的增长主要来自能力组合。不少问题只要改改工具配置、执行顺序和模块协同就能解决。已经具备的能力被有效组织起来,系统就能覆盖大量任务。
大部分这类问题被逐步消化之后,剩下的任务就要求更深的策略探索。继续在原有方案上拧参数,能拿到的收益大概已经很有限;想再往前走,得换接触方式、换准备动作、换操作顺序。还有一部分后期增益,来自参考示范里压根没出现过的、更稳的操作办法。
Task 38 就优先把原策略和改进策略摆在一起做真实对照,重点看接触方式、准备动作、操作顺序这三样变了什么。
所以平台期未必是坏事,它可能说明改进的路子变了:从把已有能力接好,转向去找新解法。
这样一来,结构化 Scaling 就同时管两件事:通用能力怎么复用,特殊瓶颈怎么突破。要覆盖更多困难任务,投入的增速可能比任务数量的增速还快,改进预算怎么分,也就成了绕不开的问题。
结构能不能迁移?再往下改,又会卡在什么地方?
隐藏评测看的是程序能不能搬到开发之外的新实例上。多数任务的 Q-score 出现下降,其中大部分降幅不到 0.2;也有部分任务表现接近,甚至拿到更高分,说明具备一定的跨实例迁移能力。这里考察的,是已知任务在不同初始条件下的表现。
图 4|隐藏评测与此前报告的 Q-score 之差(Qhidden − Qreported)。每根柱对应一项任务;正值表示隐藏评测得分更高,负值表示下降。(技术报告图 5)
降得比较多的情况,主要集中在依赖目标搜索的任务上。物体一开始的位置变了、被遮挡、或者落在难以接近的区域,搜索和操作的成本都可能明显上升。有些任务评分条件本来就少,甚至只做二元评分,一个条件没满足,得分就会大幅波动;再加上每项任务只有 10 个测试实例,采样波动也在所难免。
失败模式把进一步改进的瓶颈摆了出来。VLA 基线的失败类型排序里,抓取与放置排在最前面;HiPhys-RSI 排在前面的则是抓取与超时,放置、关节物体操作和物体掉落相对靠后。
图 5 展示的是失败模式对比。柱子里的数字,代表该模式在各方法中按频次排出的名次。抓取这一项,各方法都绕不开;HiPhys-RSI 里,超时和导航两类问题同样比较集中。这些类别之间并不互斥,一次执行可能同时踩中好几种失败模式。(技术报告图 6)
目标如果藏在看不见的地方,或者通道和操作空间太窄,反复搜索和规划就会一直吃掉执行预算。代码再怎么改,也仍然受当前感知能力、搜索策略、物理可达性和执行时间的约束。说到底,结构的积累能解决不少协调与执行上的问题,但要想持续增长,还得把这几项底层能力和与环境交互的方式再往前推一步。
新的操作策略,怎么才能变成系统的知识?
智能体先给出方案,人再引导着改,一来一回,系统就攒下了一批能适配不同任务的操作办法。结构化知识里到底装了什么,从这些例子能看明白。
图 6|程序搭建和修改过程中沉淀下来的操作策略。上排是木头支撑的几何调整、喷壶预处理;中排是抓锅沿、操作并移动扫描仪;下排是用盒子把纸袋撑住、从车斗前沿搬独轮车。后文分析评测漏洞时,木头任务还会再出现。(技术报告图 7)
锅柄不好够着,机器人就改抓靠近自己这一侧的锅沿,让锅体保持水平,再端上炉灶。独轮车把手被挡住时,它绕到车轮那一侧,用双手扣住前部车斗边缘把车搬走。
喷壶立着不好抓也不好按,系统先把它放成别的姿态,再从顺手的方向去操作。打包外卖时,机器人先把空纸袋竖进盒子里,再塞汉堡,借环境把难度降下来。扫描仪呢,可以先在桌面上启动,之后看位置情况,决定是推着走还是抓起来搬。
Task 81 和 Task 92,拍的是准备动作、操作次序和最后的效果。
挑接触点、调物体状态、借环境支撑、排动作先后,这些经验都在里面。写进程序以后,自主执行时还能再拿出来用。
策略一放宽,任务评分里的缺口也跟着露出来。堆木头那项任务,系统把木头两两配成独立的一对一对,接触条件满足了,可预期的木堆并没堆起来,算是个挺典型的评测漏洞利用。还有个例子是在冰箱里直接切食物:分拿到了一部分,后面的转移目标却没完成。这种行为可能是有效的中间步骤,也可能只是停在捡容易分的阶段。
图 7|策略探索中暴露的评测问题。左图:木头各自配对,凑够了接触条件;右图:在冰箱内切食物拿到部分分数,后续目标没有完成。(技术报告图 8)
这些观察也让人回头审视评测本身:成功条件得把任务意图说准,同时给合法的替代做法留出空间。系统能不能自己判断做到哪一步、任务有没有完成,判断得准不准、延迟多大,也应当作为一项独立能力来评。
结构化经验怎么接上模型训练
程序改进中攒下的经验,还能顺着执行轨迹流进模型训练。
团队把流水线生成的观察—动作序列和基准示范混在一起,做逐任务的 VLA 后训练。程序探索里形成的操作方式和协调经验,就这样成了学习策略能用的数据;训出来的策略再跟已有流水线一道,参与推理时的选择。
结构与策略之间由此能继续互相推动:策略变强,后续搭系统时可调用的能力就更多;流水线持续改进,又能接着产出训练经验。这条双向路径,报告认为仍值得往下深挖。
技术报告还抛出一个问题:具身智能的能力增长,究竟能有多少种发生形式?训练让经验沉进参数,构建让经验变成可执行的知识。编程智能体把两头接起来,机器人领域攒下的工具与方法,便能经自动构建、验证和复用,去支撑更多任务。
Scaling by Structure 盯的正是这个方向:让结构化、可执行的知识不断累积、不断变好,从而把整个具身系统的能力往上抬。
相关核心技术
相关链接
项目主页:https://behavior1k-champion.com/
技术报告:https://behavior1k-champion.com/assets/HiPhys-RSI_tech_report.pdf
官方排行榜:https://huggingface.co/spaces/behavior-1k/2026-challenge-leaderboard
挑战赛介绍:https://behavior.stanford.edu/challenge/index.html
评测指标与规则:https://behavior.stanford.edu/challenge/evaluation.html