智元开源LIFE终身具身智能框架：机器人能持续感知，单卡延迟75毫秒

智元 AGIBOT 近日放出终身具身智能框架 LIFE（Learning to Live: A Step Toward Lifelong Embodied Intelligence）。这套框架把持续感知、长期记忆和能力复用捏到一起，让机器人在干活当中和两次任务之间都能拿到环境信息，后续决策时还能翻出此前的观察记录。论文、项目主页、RoboBeats 系列模型（0.8B / 2B / 4B）的推理代码与权重，连同 SSS-Bench 评测资源，均已对外开放。

“终身”二字落在调度单位上，跟传统具身智能框架不是一回事。老一套系统围着单个任务转：接指令、感知、规划、执行，干完就清空状态。可任务进行中和任务与任务之间，物理环境一直在变。LIFE 的做法是持续盯着环境、挑着存下观察、把解决过的问题的办法再用起来，看机器人能不能跨任务攒下方法、用上方法。

在“理解指令—调用工具—等待结果”这条链路上，工具跑着的时候环境一变，后面的动作就可能受影响。LIFE 为此加了一条常驻的感知与记忆通路，工具运行期间系统能跟住相关条件，值得留的变化会被存成可检索的历史。

整个框架由三块配合：轻量决策模型“RoboBeats”管条件跟踪和事件发现，判断什么时候该响应、什么时候该写记忆；可塑性记忆模块“Plastic Memory”存下挑中的原始画面和结构化记录；能力复用机制“EDM”（Explore–Distill–Mount，探索—提炼—挂载）把解题时形成的方法变成验证过的工具与技能。这三块跟多模态大模型驱动的智能体一起跑。

智元远征 Research Team 的说法是，LIFE 想让机器人在没接到指令时也保持环境感知、攒下历史记录，碰到新问题再调用已有经验。

图 1｜LIFE 整体架构：持续观察、主动感知、可塑性记忆与自主学习四部分围绕智能体协同工作。来源：论文。

01/ 三项能力协同，让机器人持续在线

单次任务完成度，量的是机器人在特定指令下干得怎么样。LIFE 往远处看了一步，研究跨任务的信息积累与调用：没来新指令时系统怎么监测环境，这些观察又怎么用在后面的问答和行动里。

这一转向的工程前提在端侧。RoboBeats 先用轻量判断筛出需要进一步处理的画面，大模型不必逐帧完整分析；历史计算缓存也复用起来，连续观察中的重复计算开销随之下降。单张 RTX 5090 上，RoboBeats-2B 处理一帧新画面延迟约 75 毫秒；同时检测 16 个条件，延迟约 77 毫秒。这套测试设置下，检测条件加多，延迟没有明显上涨，系统持续运行就有了性能底子。

心跳：RoboBeats，未接收指令时持续感知

RoboBeats 是个轻量决策模型（Decision Model），参数规模有 0.8B、2B 和 4B 三档。它不逐帧吐文本回答，而是读 true / false 标签的得分，判断一段自然语言描述的条件成不成立。多个条件共用视觉输入和历史计算缓存，各管各的预测状态。

干活时，智能体可以设下持续监测的条件，比如“电梯门是否打开”“抓取动作是否完成”。没有新任务指令的时候，系统照样能发现新事件，筛出值得记的观察，再交给写入模型生成描述、存下对应画面。团队管这种持续感知机制叫“心跳”。

StreamingBench 的主动输出任务（PO）上，按参考时刻前后 2 秒内首次触发的准确率算，RoboBeats-4B 从 21.2% 升到 64.0%；SPOT-Bench 上，动作边界检测的 F1 分数（百分制）从 26.4 升到 45.8。

图 2｜RoboBeats 复用同一条视频流，同时对多个条件输出成立概率。来源：论文图 4。

图 3｜条件成立即行动：大图为第三人称视角，小窗为机器人第一视角。来源：智元远征 Research Team 实拍。

记忆：可塑性记忆，将观察过程保存为可检索记录

采集的时候很难预判哪些细节后面会用上，可塑性记忆干脆把原始画面和当前解析结果分开存：原图留着现场信息，结构化记录（JSON）记下时间、位置、人物与物品这些线索。执行智能体用工具就能快速检索已有记录；有文件读取和编程能力的编程智能体，还能回看原图、挖出新信息，再补字段、补索引。

这么一来，记忆既能查历史，也能按后面的需求更新。举个例子，系统最初存的门口画面没记房间号，后来要按房间号检索，就重新分析原图，把门牌文字提出来补进索引。

基于 24 小时真机录像的案例研究里，远征 A3 Ultra 连续拍了一天第一视角视频，团队随后离线回放构建记忆，再做历史信息问答。以 12 时 30 分为提问时点，问外套最后出现在哪，系统检索到 12 时 18 分外套在茶水间椅背上的记录，并给出对应历史画面及拍摄位置。判断会议室两只杯子归谁时，系统把人物到场和杯子使用记录对起来，找到绿色杯子的归属依据；黑色杯子在参会者到场前就有了，系统没把它算到某位参会者头上。

团队围绕当天记录出了 6 个问题，每题测 3 次。问答模型都用同一个 GPT-6.1-sol 的条件下，LIFE 拿到 29.5/30 分，平均回答用时 80.6 秒；同样拿到已构建记忆的 Codex B 对照组得 28.5/30 分，平均回答用时 554.7 秒。

图 4｜可塑性记忆：保留画面、时间与位置，日后可回看并提取新线索。来源：论文。

图 5｜一天的录像构建为记忆后，回答人物、物品与活动相关问题。来源：论文。

自进化：探索形成的方法，转化为可复用工具

EDM（探索—提炼—挂载）这套机制沿用了此前 ReSight 的做法。现有工具搞不定问题时，编程智能体会翻历史记录、写程序，把检索和去重的路子试出来；确认有效后，再把这些方法提炼出来挂进系统工具库，后续任务可以直接调用。这种能力扩展落在程序、工具接口和技能层面，基础模型不必每做完一次任务就更新参数。

FindingDory 实验里，挂上 EDM 构建的能力之后，系统在 597 个没参与过能力构建的查询上，成功率由 37.5% 升到 65.8%，提高了 28.3 个百分点、相对提升约 75%。其中 37.5% 是没挂 EDM 时同一批查询跑出来的结果。

图 7｜EDM：探索—提炼—挂载，把摸索出的办法沉淀成可复用的能力。来源：论文图 12。

02/ 六组基准测试与全天实验，验证持续在线

论文对条件跟踪、历史记忆问答和能力复用分别做了评估。各项测试的指标和比较设置各不相同，主要结果如下：

● 端侧运行性能：RoboBeats-2B 在单张 RTX 5090 上处理一帧新画面，延迟约 75 毫秒；同时检测 16 个条件时约 77 毫秒。

● 主动感知：StreamingBench 主动输出任务（PO）里，以参考时刻前后 2 秒内首次触发的准确率来算，RoboBeats-4B 从 21.2% 升到 64.0%。

● 动作边界检测：SPOT-Bench 中，动作边界检测的 F1 分数（百分制）由 26.4% 提高到 45.8%。

● 记忆有效性：SSS-Bench（171 段视频 / 618 个问题）里，只靠文本记忆作答，并且写入画面数量、写入模型和问答模型都相同的条件下（论文表 15），采用 RoboBeats-2B 的方案问答准确率从 40.9% 升到 60.5%，高了 19.6 个百分点。

● 回溯问答：OVO-Bench 回溯问答子集里，只用文本记忆时，情景记忆和动作序列识别相关指标各自提升 6.2 和 6.1 个百分点；写入端输入 token 数量少了约 45%。

● 长时记忆与能力复用：FindingDory 的 597 个未参与能力构建的查询上，成功率由 37.5% 升到 65.8%。

● 24 小时真机实验：设 6 个问题，每题测 3 次。用相同的 GPT-6.1-sol 问答模型，LIFE 得分 29.5/30 分，平均用时 80.6 秒；对照组 Codex 得分 28.5/30 分，平均用时 554.7 秒。

注：SSS-Bench 的 60.5% 是仅凭文本记忆作答、写入画面数量相同、使用相同写入与问答模型条件下的问答准确率，不等同于“记忆准确率”。

图 6｜从持续感知到记忆问答的六组基准结果。来源：论文图 1。

图 8｜SSS-Bench 各类问题的问答准确率。来源：论文图 10。

03/ 论文、代码与模型同步开源，开发者当天可复现

LIFE 的论文、项目主页、代码以及 RoboBeats 三种参数规模的模型都已同步开放，开发者可以拿来研究和复现。

● 论文：Learning to Live: A Step Toward Lifelong Embodied Intelligence

● 项目主页：agibotgeneral.github.io/life-site

● 代码：GitHub · AgibotTech/LIFE

● 模型：RoboBeats-0.8B、RoboBeats-2B、RoboBeats-4B

这次发布是智元围绕机器人持续运行和经验利用做的一项技术探索。LIFE 把持续感知、历史记忆与工具复用放进同一个框架，研究范围也从单次任务执行延伸到跨任务的信息积累与调用。论文提出，后续研究还需进一步结合长期目标与自主行动，并通过多日在线部署和动态仿真，评估系统在持续变化环境中的记忆更新、决策与运行可靠性。