清华团队从智能体视角梳理具身智能：模型能力如何组成自主系统

新智元报道  

语言理解、视觉感知和动作生成正逐步被纳入同一套学习框架，多模态基础模型也在拓宽机器人的能力边界，能做的任务越来越多。

可一旦研究进入开放环境、转向长期部署，更深的疑问就冒了出来：这些能力该怎么组织起来，才算一个能持续自主运转的系统？

现实世界不会静止。物体会挪位置，接触可能失败，任务条件在执行途中也会变。

机器人得在信息不全时拿主意，做完动作再核对结果，发现偏离目标就改策略，并把靠得住的经验带进下一轮交互。任务拖得越久，这种串起感知、决策与行动的组织本事就越关键。

针对这一变化，清华大学团队换用智能体视角重新梳理具身智能研究，把模型能力、计算基础设施、安全、数据与评测纳入同一幅系统图景，探讨通往更高自主性的技术路径和待解问题。

项目链接：https://agenticei.github.io/AEI-Survey-page/

具身智能的演进始终围绕一条主线：智能行为如何经由身体与环境的交互产生。最早是反馈控制，随后是靠模仿学习与强化学习获取技能，再到深度视觉运动策略，可学习和可执行的行为范围一路扩大。多模态基础模型又补上了跨任务的语义理解与知识迁移，通用机器人策略由此起步。

论文首图｜回顾了从反馈控制、技能学习、深度视觉运动策略，到通用机器人策略与 Agentic Embodiment 的发展脉络。

顺着这条线，Agentic Embodied Intelligence（AEI）把问题推到任务级的自主组织：系统要读懂目标，主动补齐信息，排好子任务，调用技能，再根据物理反馈决定接着做、重试、重新规划还是求助。

有了这个视角，几条技术路线便有了共同的讨论坐标。VLA、世界动作模型和程序化技能组合可以在闭环里各担一块功能，评判它们的价值，要看它们怎样支撑一个完整任务。通用策略给出的行为能力越来越丰富，AEI 则接着追问：这些能力在持续交互中怎么才能被有效组织起来。

综述的 Figure 1 搭出一个系统级框架：模型管具身理解、规划、行动与反思，基础设施衔接技能调用和机器人控制，本体在物理或仿真环境里执行动作，新的观察与状态再回传给模型。这个在线交互过程，就是自主系统运转的核心。

论文图1｜Agentic Embodied Intelligence 的系统关系。在线交互连接模型、基础设施、本体与环境，数据和评测支持能力改进，安全与可信要求贯穿整个系统。

以这一核心为轴，环境不断产出交互经验，数据支撑模型训练，评测把能力缺口和失败模式摆出来，反过来影响模型与系统的改进方向。安全要求则覆盖模型检查、运行时防护、控制限制和人类监督。

也就是说，要提升面向部署的能力，得靠多层配合：高层推理和低层控制之间要共享足够准确的状态，技能接口要回传执行结果与异常，端侧、边缘和云端的分工得满足时延约束，数据与评测也得覆盖真实运行中冒出来的难处。

单个环节的进步，只有经过这些连接，才能变成整套系统更可靠的行为。

用「自主」形容不同系统时，有个问题绕不开：人到底还在干哪些活？任务由谁拆，过程由谁盯，失败后谁来接手，任务算不算完成又由谁判定？

综述用 L0—L5 的概念框架来讨论人机责任的变化。L0 是连续遥操作，L1 是辅助技能，L2 是受控任务自主，到 L3 的条件自主，人逐步从直接控制动作转为监督、按需介入。L4 进一步指向限定领域内的持续任务执行、结果验证与失败恢复，L5 则指向开放世界中的通用自主能力。

论文图2｜以人机责任分配刻画自主性层级。L4与L5在综述中被列为研究目标，其实现需要持续运行、恢复能力与边界识别等证据。

这套框架把「能完成什么」和「需要多少人工支持」摆在一起看。机器人能不能认清自身能力边界，在异常时安全停下或开口求助，同样算自主能力的一部分。

对研究者来说，这套框架相当于一把衡量系统进展的标尺，让评价不再只看任务覆盖多广，还要看自主完成任务时承担了多少责任。

物理交互一旦发生，下一次决策所依赖的条件就跟着变了。环境只能被部分观测，机器人凭有限信息行动，而行动反过来又改变环境状态和之后的观测。

任务时程拉长后，早先的状态估计误差会一点点累积，原本可行的计划也可能失去执行条件。

综述以智能体视角考察具身智能，把Agentic Embodied Intelligence（AEI）的模型核心归纳为四项彼此耦合的功能，看系统怎样借助物理反馈不断修正面向目标的行为。

感知与具身理解负责把任务意图对应到环境中的实体、空间关系和物理属性，为决策给出当前状态及其不确定性的估计。

推理与规划拿这些信息拆解长程目标，比较不同候选方案，再把子目标表达成机器人策略能执行、系统能核验的步骤。观测不足以判断行动是否可行时，主动去获取信息本身也能成为规划的一环。

动作执行把子目标转成受本体动力学与安全约束的运动，同时返回实际的状态变化。

闭环演进则用执行证据比对预期和实际后果，判断偏差出在哪个环节，据此调整动作、修订计划或者更新经验。

这四项功能既可以由一个统一模型承担，也能分散在多个模块里。架构不同，却都绕不开同一个接口问题：感知保留了多少规划需要的信息，执行又返回了哪些足以改变下一次决策的证据？

论文图 3｜在线认知闭环。感知为规划提供状态依据，执行产生可观测的物理后果，结果核验驱动后续决策。

任务内恢复和跨任务更新，验证标准并不一样。

单次任务里，反思有没有价值，可以看后续干预：在相同的重试预算下，修订后的行动方案能不能有效恢复执行。

若想进一步说明系统获得了可复用的经验，就得去掉当前任务的临时上下文，放到新任务上检验收益。一旦涉及策略或模型更新，还应评估原有能力是否保留下来。

物理交互重置成本高，传感反馈存在歧义，仿真与真实部署之间又有差异，失败归因因此更难。

综述据此把更新对象和证据要求一一对应：控制调整在当前回合就能验证，持久记忆与技能更新需要跨任务证据，范围更大的系统修改则要独立的版本比较和部署监测。

论文图 7｜数字智能体与具身智能体的闭环演进。两类系统都会借助执行反馈来找出偏差，可它们所处的验证环境不一样，重置成本与部署条件也差得不少。

在线认知闭环讲的是智能体如何决策，系统层管的则是这些决策能不能在物理环境里及时执行、安全修正，并留下可供独立检验的证据。

于是综述把计算基础设施、安全机制、交互数据和评测协议放进了同一个分析框架。

云边端协同与实时执行。

具身系统同时在多个时间尺度上跑闭环。底层控制和动作策略有严格的响应时限，长程规划则可以用更大的计算预算。推理怎么在机器人本体、现场边缘服务器和云端之间分配，取决于各环节对算力、能耗和时延的要求。

快速控制场景下，平均时延特别容易掩盖问题：偶尔一次长延迟或者断连，返回的指令就可能依据过期状态执行。混合部署因此还得协调状态同步、指令有效期和本地接管机制。

论文图 9｜本体、云端与混合部署。本体受功耗与散热约束，云端受通信条件制约，混合部署还需确定计算分工并保持状态一致。

安全与可信这一块，约束得贯穿感知、规划和控制三个环节。感知阶段识别出的风险、规划阶段定下的前置条件、执行阶段加上的限制，三者必须指向同一个对象，而且依据的状态和授权得是仍然有效的。

任务做完之后，残余风险也要核验。如果这次经验会被写进记忆，或者拿去更新策略，那安全判断就得延伸到后续任务，看看原来的约束在新版本里还成不成立。

围绕智能体的具身经验，综述提出了Agentic Embodied Experience这一表示，用目标、上下文、决策理由、子目标、可供性、运动、反馈与反思来组织交互记录。

这种表示把决策时能拿到的信息，跟实际发生的运动及其物理后果对应起来。研究者因此可以追溯偏差最早出在哪个环节，后续干预有没有改变结果。

论文图 13｜具身数据从哪来，又如何沉淀成交互经验。数据金字塔交代的是各类来源的体量与指向性差异；经验表示讲的则是一次决策怎样同行动、反馈、修订挂上钩。

数据分布还跟智能体自己的行为有关。探索策略怎么定、什么时候求助、失败后怎么恢复，都会影响哪些状态被记录下来。把评测中暴露的能力缺口反馈到任务选择和数据采集上，再用独立任务检验更新收益，就能形成由能力诊断驱动的数据循环。

评测方面，综述从任务要求的认知能力出发，归纳出五类情境：目标消歧与主动理解、工具发现与可供性推理、在线扰动处理与恢复、开放环境中的长程任务，以及社会交互与多智能体协作。

这五类刻画的是任务难度从哪来。前文的自主性分级看的是另一个维度：在给定的运行边界内，目标解释、决策、执行监控和异常处置，人和系统各自承担多少。

想从实验结果推断自主能力，评测协议就得说明白：仿真环境保留了哪些物理与语义状态，工具接口预先提供了哪些技能，运行中允许什么样的人工介入。

在这些条件下，把任务结果、决策质量、执行质量、恢复过程和安全表现放在一起报告，才能判断观测到的收益来自智能体的哪项能力，结论又适用于什么环境。

论文图 15｜具身基准考察的五种认知能力。主动搜集信息、管控中间状态、随环境变化调整，这些在不同任务里要求各不相同，测量时留下的盲区也各不一样。

通用策略让机器人能执行的任务范围变大了。但要走向更高水平的自主性，研究还得解释这些能力在不确定环境里怎么持续协同，以及系统什么时候该恢复、该求助、该停下。

论文把限定运行域内的持续任务自主性，和开放世界自主性，列为不同层次的研究目标。判断进展的依据，是在明确的运行范围、任务时程和人工支持条件下，系统能不能持续担起相应的决策责任，并为自身行为和后续更新拿出可复核的证据。

参考资料：

https://agenticei.github.io/AEI-Survey-page/