华为诺亚HiPhys-RSI夺BEHAVIOR-1K挑战赛冠军,Q-score约0.683
踢开具身Scaling的另一扇门:华为诺亚团队登顶Behavior Challenge 2026
这届是第二届挑战赛,平台用的是斯坦福大学李飞飞团队开发的 BEHAVIOR-1K 基准,并与机器人领域顶级会议 CoRL 2026 联动,会期定在 11 月 9 日至 12 日。赛题围绕整理、清洁这些真实家庭需求展开,评测的是机器人高层推理、跨房间导航和双臂精细操作的综合能力。
李飞飞本人在社交媒体发帖,说机器人学习正取得令人瞩目的进展,并邀请更多研究者关注 CoRL 2026 的 BEHAVIOR Challenge。
和去年比,2026 年挑战赛在多个维度明显上了一个台阶。基准规模扩大 2 倍:任务从 50 项增至 100 项,场景从 3 个增至 7 个。参与度提升 3 倍:参赛者从 96 人增至 265 人,参赛提交从 18 份增至 57 份。最佳完整任务成功率也从 12% 提升至 48%,是上一届的 4 倍。

短时抓取和单一技能评测之外,这项挑战要求机器人靠机载视觉、深度及本体感知信息,在数分钟级长时序任务中连续完成多物体交互、状态变化处理与多技能协同。任务规划、感知与动作协同、执行稳定性,都被提出了严苛要求。
12 个任务成功 rollout。
面对这种长时序、多技能配合的复杂局面,眼下业界主流做法还是沿用 AI 领域最熟悉的那套 Scaling 思路——模型做得更大、数据喂得更多、算力砸得更狠。
AI 其实还有一条能力增长的路径:把知识、规则、操作流程攒起来,让系统学会推理、组合和执行的方法。早年的符号 AI 在这条路上摸索了很久,机器人领域同样攒下了不少感知、规划和控制方面的工具。
大模型如今已经会写程序、会用工具,还能根据执行结果回头改方案。那这两条路径之间,是不是冒出了新的接点?
在冠军方案的技术报告《Scaling by Structure: What Forms Can Scaling Take in Embodied AI?》里,团队把 Scaling 的问题提得更宽:具身智能能不能靠搭建并改进结构化、可执行的知识与技能,让能力持续往外扩?
这条路子把可执行程序,连同它背后的工具、约束和经验,当成能力积累的载体。编程智能体负责搭、验、改这些结构,机器人靠它们干活,跑出来的轨迹又反过来喂给视觉 — 语言 — 动作模型(VLA)做训练。
“系统到底掌握了多少可执行技能”,也因此成了衡量具身智能能力增长的一个维度。
经典机器人方法,
怎么长成可扩展的知识体系?
机器人领域手上已经有不少好用的方法。几何推理管空间关系和碰撞,SLAM 负责定位与建图,任务与运动规划把逻辑决策和动作可行性接起来,反馈控制则不停修正执行中的误差。
不过这些方法各有各的适用条件。换任务、换环境,就得重新组织信息流、对接模块接口、安排操作顺序,还得照着物体的几何形状和场景约束调策略。场景一变,原来的流程可能就得换抓取方式、换动作顺序,或者补上恢复机制。
任务一多,结构化机器人系统的短板就露出来了——人工构建和维护方案的成本跟着任务量一起往上涨。这成了系统扩展能力时绕不开的瓶颈。
编程智能体恰好能接手其中一部分活:读执行日志、看视频、找失败点、改工具和程序,再跑一遍验证。管用的改动留作后续任务可调用、可调整的知识。泛化因此也多了一层意思——系统能拿现成的工具和经验,给新任务搭出、调出解决方案。
这种能力能扩多远,一看覆盖了多少任务,二看每多一项任务要搭进去多少工程和交互成本。报告用实验把这两头都测了。
HiPhys-RSI:把交互经验变成可执行结构
团队给出的方案叫 Hierarchical Physical Recursive Self-Improvemen (HiPhys-RSI),分层物理递归自我改进框架。底座是参数冻结的编程智能体加视觉语言模型(VLM),在训练实例里搭建并打磨可自主执行的机器人流水线。
图 1 展示的是 HiPhys-RSI 的整体架构:智能体在任务体验、程序构建、执行分析、迭代改进这几个环节里积攒可执行知识,到了推理阶段,则按任务条件去挑现成的流水线或者 VLA 策略。(报告图 1)
第一步,智能体读任务说明和参考示范,借工具调用攒交互经验:哪些动作管用、步骤之间谁依赖谁、什么观测能说明任务在往前走。接着把这些经验编成程序——感知输出怎么参与规划、控制器什么时候动手、失败之后怎么收场,都用明确的信息流和条件逻辑串起来。流水线搭好后,能靠自身的检查和分支逻辑自主跑。
跑完的结果进入下一轮分析。日志交代程序调了什么,视频则说明物理世界实际发生了什么:轨迹跑完了,物体真挪到位了吗?抓取指令返回成功,物体还留在桌上吗?智能体拿这些证据定位该改的模块和策略。
改动可大可小:往上是工具选择、步骤编排和恢复逻辑,往下能钻进底层工具的实现。构建阶段还允许人工纠正介入,给复杂问题指路。验证通过的程序和经验会被留下,之后的任务可以拿来当可复用组件。
同一案例还保留了真实迭代记录:失败现象是什么、改了哪些内容、再次执行结果如何,人工参与的环节也一并注明。
整个过程中,编程智能体和VLM的参数都没有更新,改进全部落在可执行程序和结构化知识里。系统最终靠能力卡记录各条流水线、VLA的适用条件、历史表现和已知困难,推理时据此挑选合适的执行组件。工具用起来,流程跑起来,流程再变得可复用、可组合,结构化知识就这样一层层攒了下来。
100项家庭任务,两种能力增长方式的对比
团队把这条路径放到BEHAVIOR-1K的复杂家庭仿真环境里检验。评测涵盖100项任务、八类能力,包括移动取物、摆放与分类、精细操作、工具使用、倾倒、设备操作以及物体加工。这些任务要求感知、决策、动作持续配合:找到目标能不能靠近,抓稳物体能不能搬运,做完一步能不能接上下一步,任何一环都左右最终结果。
比较的基准是2025年BEHAVIOR Challenge冠军方案,团队在其上适配出三组VLA设置。第一组在全部100项任务的示范数据上联合训练一个epoch(Meta-1-Epoch);第二组从该检查点出发做逐任务后训练(Per-Task Post-Training);第三组在相同的全任务示范数据上联合训练两个epoch(Meta-2-Epochs)。一个epoch即完整遍历一轮训练数据。
逐任务后训练的做法的确有点不一样:基准示范与程序生成的轨迹混在一起,每项任务单独训练策略,还加入了深度、相对机器人位置的几何信息等三维输入。效果因此同时牵扯任务适配、数据补充与表征变化三件事。这三组VLA既是单独执行任务的对照,也是最终系统推理时可以挑用的策略。
图2|三组VLA与HiPhys-RSI在100项任务上的表现对比。每根径向柱对应一项任务的得分;A–H依次为移动取物、一般摆放、匹配放置、精细操作、工具使用、倾倒、设备操作和物体加工。(技术报告图2)
报告中的实验显示,HiPhys-RSI最终混合系统在几乎所有任务上的得分都高于所比较的VLA方案,八类任务全部在优势范围内。
三组VLA设置之间的差别,反映的是训练方式起的作用。就当前配置看,全任务联合训练多加一个epoch带来的提升比较有限;逐任务后训练拉高了部分任务的表现,可各类别的能力强弱分布大体没变。这些结论只对应本次实验条件下的表现。
这类任务要求,结构化系统靠显式分工来应付:感知与建图模块给出场景信息,程序负责组织任务逻辑与约束,动作则交给专门的规划与控制方法完成。编程智能体依据反馈去调整这些部分怎么组合、怎么实现,让已有的机器人知识能适配更多任务条件。
实验把Scaling的讨论拉到了整个系统层面:训练怎样增强策略能力,结构又怎样把已有能力组织起来并加以扩展。
结构怎么Scale:从能力组合到策略发现
比最终得分更关键的一个问题是:结构化知识的增长过程究竟长什么样?
图 3 展示的是流水线怎么一步步改进。左边那张看整体任务得分随迭代怎么变,中间给出每项任务要迭代多少回,右边则是各类技能在流水线里被用到的频次。(报告图 3)
报告给出的曲线分三段走:先快速抬升,接着进入平台期,之后靠持续探索又拿到一些增益。
前期的增长主要靠能力组合。不少问题只要修正工具配置、执行顺序和模块协同就能解决。把本来就有的能力有效组织起来,系统就能覆盖大量任务。
这类问题逐步清掉之后,剩下的任务就得靠更深的策略探索。继续调原有方案的参数,收益可能已经不大;新的进展开始取决于不一样的接触方式、准备动作和操作顺序。后期有一部分增益,来自发现了参考示范里没出现过、但更稳的操作办法。
Task 38,优先给出原策略与改进策略的真实对照,把接触方式、准备动作和操作顺序上的变化突出来。
所以平台期可能意味着改进方式换了挡:从把已有能力接好,转向探索新解法。
这样一来,结构化Scaling既涉及通用能力的复用,也涉及特殊瓶颈的突破。要覆盖更多困难任务,投入可能比任务数量的增长还快,改进预算怎么分配也就成了要紧问题。
结构能不能搬得动?继续改进又会卡在哪?
隐藏评测专门看程序能不能在开发阶段没见过的新实例上跑通。多数任务的 Q-score 出现下滑,不过大部分跌幅不到 0.2;也有任务表现基本持平,甚至拿到更高分,说明跨实例迁移有一定底子。这一轮考察的,是已知任务换一套初始条件后的发挥。
图 4|隐藏评测与此前报告的 Q-score 之差(Qhidden − Qreported)。每根柱对应一项任务;正值表示隐藏评测得分更高,负值表示下降。(技术报告图 5)
掉得比较多的,集中在靠目标搜索吃饭的任务上。物体一开始摆在哪儿变了、被挡住、落在难够到的区域,都会把搜索和操作的成本抬上去。有些任务评分条件本来就少,甚至只给二元评分,一个条件没满足,分数就会大幅摆动;再加上每项任务只有 10 个测试实例,采样波动也跑不掉。
失败模式把继续改进的瓶颈摆了出来。VLA 基线的失败类型排序里,抓取和放置排在前面;HiPhys-RSI 排在前头的是抓取与超时,放置、关节物体操作、物体掉落则相对靠后。
图 5|失败模式对比。柱内标注的数字,是该模式在各大方法中出现的频次排名。抓取这一环,依旧是各方法共同卡住的地方;超时和导航两类问题,在 HiPhys-RSI 里也比较集中。几个类别之间有交叉,同一次执行可能同时踩中不止一种失败模式。(技术报告图 6)
目标要是藏在看不见的地方,或者通道、操作空间太窄,反复搜索和规划就会一直吃掉执行预算。代码改进依旧受制于当前的感知能力、搜索策略、物理可达性和执行时间。结构的积累能解决不少协调与执行上的问题,但要想持续往上长,这些底层能力和与环境打交道的方式还得接着改。
新的操作策略,是怎么变成系统知识的?
具体案例把结构化知识里装了什么摊开了。智能体提方案,人再引导着改,系统就这样攒出了一些能适配不同任务的操作方式。
图 6|程序构建与改进中积累的操作策略。上排是木头支撑的几何调整、喷壶预处理;中排为锅沿抓取、扫描仪操作与移动;下排包括借盒子支撑纸袋、从车斗前沿搬运独轮车。后文对评测漏洞的分析,也用到了木头任务。(技术报告图 7)
锅柄不好接近时,机器人改为抓住近侧锅沿,让锅体保持水平,再搬到炉灶上。独轮车把手被挡住时,它从车轮一侧靠近,用双手抓住前部车斗边缘把车搬走。
喷壶直立着不好抓、也不好启动,系统就先调整它的姿态,再从更顺手的方向操作。外卖打包环节,机器人先把空纸袋立进盒子里,再放汉堡,借环境支撑把难度降下来。扫描仪则可以先在桌面上启动,之后看位置条件决定是推着走还是抓起来搬。
Task 81 与 Task 92,呈现的是准备动作、操作顺序和最终效果。
这些经验里,有接触点的挑选、物体状态的调整、环境支撑的借用,也有动作先后的安排。写进程序之后,它们在自主执行时还能再用一次。
策略一放宽,任务评分里的缺口也跟着露出来。堆木头任务中,系统把木头凑成各自独立的配对,接触条件满足了,预期的木堆却没搭起来,属于比较典型的评测漏洞利用。还有个案例是在冰箱里直接切食物:拿到部分分数,后面的转移目标没完成,这种行为既可能是有效的中间步骤,也可能就停在捡容易分那一步。
图 7|策略探索暴露出的评测问题。左边是用独立木头配对满足接触条件;右边是在冰箱内切食物拿到部分分数,但后续目标未完成。(技术报告图 8)
这些观察也让人重新想评测这件事:成功条件得准确表达任务意图,同时给合法替代方案留出空间。系统能不能自己判断阶段进展和任务是否完成,判断得准不准、延迟多大,也应当作为一项独立能力来评。
把结构化经验和模型训练接上
程序改进攒下的经验,还能顺着执行轨迹走进模型训练。
团队把流水线生成的观察—动作序列和基准示范混在一起,做逐任务的 VLA 后训练。程序探索中形成的操作方式与协调经验,就这样成了学习策略能用的数据;训练出来的策略再和已有流水线一道,参与推理时的选择。
结构与策略还能继续一起往前推:策略变强,后面搭建系统时可调用的能力就更多;流水线持续打磨,又能不断产出训练经验。这个双向过程,报告认为仍值得往下深挖。
模型训练把经验压进参数里,程序构建则把经验变成可执行的知识。编程智能体在中间把两头接起来,机器人领域攒下的工具和方法,就能靠自动化构建、验证和复用,去支撑更多任务。这份技术报告由此追问:具身智能的能力增长,究竟能有多少种发生形式?
Scaling by Structure 盯的就是这条线:不断沉淀、改进结构化且可执行的知识,把整个具身系统的能力往上抬。
核心相关技术
相关链接
-
项目主页:https://behavior1k-champion.com/
-
技术报告:https://behavior1k-champion.com/assets/HiPhys-RSI_tech_report.pdf
-
官方排行榜:https://huggingface.co/spaces/behavior-1k/2026-challenge-leaderboard
-
挑战赛介绍:https://behavior.stanford.edu/challenge/index.html
-
评测指标与规则:https://behavior.stanford.edu/challenge/evaluation.html