LeRobot v0.7.0发布：训练机器人不再先下TB级数据
LeRobot v0.7.0 更新让开发者能直接从云端流式传输 TB 级数据集进行训练，彻底告别本地存储瓶颈。新版支持自然语言交互控制机器人，引入 Cosmos 3、FLUX 3 Action 等四大世界动作模型，并优化了远程推理架构，让轻量级机器人也能运行大参数模型。此外，还增加了多款新硬件支持和更严谨的评估指标，是
从硬盘不够用，到数据在云端边取边训
搞机器人开发的人多半经历过这种折腾：要训一个大模型，数据集却大得本地硬盘根本放不下。过去得先把几百 GB 甚至几 TB 的数据拉到本地、解压，再交给训练脚本，过程慢不说，磁盘 I/O 还常常把整个流程卡死。
LeRobot v0.7.0 把这块改掉了。现在训练数据可以直接从 Hugging Face Hub、存储桶（Storage Bucket）或 LanceDB 里读，不必先下载。面对标准 LeRobot 数据集，打开之后--dataset.streaming=true新的读取器只抓训练当下要用的那一段视频字节，每个 epoch 里每帧只访问一次，还支持断点续传，确定性也强。实测用四个 DataLoader worker 时，每秒处理的样本数提高了 2.1 到 2.5 倍。
想再快一些，可以换 LanceDB 后端。LeRobot 现在能把数据集存成 Lance 表，原始 MP4 视频以 blob 形式保留，不用重新编码。这样一来帧读取是原位的，开训几乎立刻开始，还能做到真正的全局洗牌，速度跟本地磁盘差不多。切换只要几行代码：
from lerobot.datasets import LeRobotDataset
dataset = LeRobotDataset("lance-format/pusht-lance")图像增强同样可以搬到 GPU 上执行。设置--dataset.image_transforms.backend=gpu之后，ACT 模型在 H100 上训练快了 2.8 倍，在 A100 上快了 3.3 倍。新加的 8 种机器人专用增强效果，包括运动模糊、随机阴影和 JPEG 压缩抖动，都由 GPU 并行处理，不再占 CPU 资源。
跟机器人“对话”：语言进了控制闭环
过去的机器人策略基本是“哑巴”，看视觉输入、出动作就完了。v0.7.0 让语言真正进入控制闭环：机器人跑起来以后，你能在终端跟它交互，不用每次都重启进程。
只要在 lerobot-rollout 中加入 --interactive=true机器人连接、策略权重和处理器都保持加载状态，指令随时可以发：
/subtask pick up the red cube运行中改子任务指令。/vqa how many cubes are left on the table?问策略当前看到了什么。/autosteer clear the table给策略一个高层目标，让它自己规划子任务，直到你接管。
这类交互要求策略本身能生成文本，比如新支持的 FineART-VLA 或 Wall-OSS-0.5。策略不具备文本生成能力也不要紧，LeRobot 现在可以外接 VLM 规划器，指向任何兼容 OpenAI API 的 VLM 都行——本地跑的 Llama、vLLM，或者托管服务。这个外部规划器负责回答/vqa的问题，并驱动/autosteer把“收拾桌子”这类模糊的自然语言指令，拆成 VLA 能看懂的具体步骤。
FineART 数据集能看出这种模式在规模上的潜力。它由 Scale AI 和 Hugging Face 合作发布，包含 4 万多集双臂操作演示（约 1718 小时），子任务标注超过 53 万个。在此之上训练的 FineART-VLA 采用双层架构：高层系统用语言解释目标、预测下一个子任务（System 2），再由流匹配动作专家执行具体操作（System 1）。机器人因此不光能“做”，还能“想”下一步干什么。
世界动作模型：先想象，再行动
世界动作模型（World Action Models, WAMs）是物理 AI 领域近来的热点。这类模型参数量很大，通常在 50 亿到 200 亿之间，要处理大量视频 token。为了撑住这类训练，LeRobot 把整个训练栈重做了一遍。
先说分布式训练。旧的 FSDP1 路径已经弃用，换成支持 FSDP2 和 HSDP 分片的并行训练框架，外加 Torch Distributed Checkpoints (DCP)。在 8 张 H200 的节点上训一个 60 亿参数的 FastWAM 模型，DCP 存检查点快了 3 倍，恢复训练时每张 GPU 的显存峰值从 143 GB 降到 42 GB。普通实验室的门槛因此低了不少。
v0.7.0 一次带来了四个新的世界动作模型：
- Cosmos 3：出自 NVIDIA。它看着相机视图和语言指令，同时预测未来的视频帧和下一个动作块。Cosmos 3 Nano (165 亿参数) 和 Edge (46 亿参数) 在 LIBERO 基准测试上的平均成功率分别是 97.90% 和 97.95%。在 LeRobot 数据集上，可以用 FSDP2 全量微调，也可以用 LoRA 微调。
- FLUX 3 Action：Black Forest Labs 的作品。它靠冻结的视频 VAE 和文本编码器，用扩散 Transformer 同时预测视频潜变量和动作块，推理时只输出动作。现有 base、SO-101 和 DROID 三个检查点，支持 LoRA 微调来适应新任务。
- LaWAM：来自 RLinf 团队。它在潜空间里学动力学，结合 Qwen3-VL 主干网和流匹配动作头。在 LIBERO 上微调后得分达到 98.5%。
- Long-WAM 出自 NVIDIA LongLive 团队，面向长上下文场景打造。它用自回归视频预训练，让模型理解过去怎样作用于未来。该模型提供两种模式：逆动力学模型（IDM）无需解码 RGB 帧，即可想象未来潜变量并据此条件化动作；另一种则对视频和动作联合去噪。两种模式在 LIBERO 上的平均成功率均约为 99%。
除 WAMs 之外，VLA（视觉-语言-动作）模型库同样在扩容。G0.5 以 Qwen3.5-2B 为基础，能“大声思考”——在输出动作的同时生成思维链，内容包含当前子任务和边界框。LingBot-VLA 2.0 采用稀疏混合专家（MoE）动作专家，在 RTX PRO 6000 上配合 CUDA graphs 和torch.compile之后，动作块生成耗时由 756 毫秒降到 120 毫秒。Wall-OSS-0.5 同样是 40 亿参数的 VLA，其视觉语言专家可以生成文本，因而能在交互式 rollout 中回答问题、规划子任务。
远程推理：大模型跑在服务器上，小脑留在机器人上
不少先进策略模型体积过大，根本装不进机器人自带的嵌入式电脑。v0.7.0 带来的lerobot-policy-server正是为这一难题准备的。模型可以放在实验室的高性能 GPU 工作站上运行，机器人一侧只需一台笔记本或单板计算机。
摄像头、电机控制、遥操作和数据记录均在本地完成。观测与指令被送往服务器，服务器算出后续动作块再发回机器人。关键在于，机器人在等待服务器计算下一动作块期间，可以继续执行已缓冲的动作，这种重叠把推理延迟藏了起来。客户端会丢弃过期步骤，对齐传入动作块与剩余轨迹，并对重叠的目标做平滑过渡。
通信底层采用 Zenoh，支持 TLS 与访问控制配置。也就是说，不必再为每个机器人配上昂贵显卡来跑大模型，只要网络畅通，轻量级机器人也能拥有“大脑”。需注意，远程推理取代了此前的lerobot.async_inference模块，安装时要用remote 额外依赖。
仿真与评估：拒绝“运气好”
过去的基准测试常把多种模拟器（robosuite、MuJoCo 等）塞进同一环境，依赖冲突令人头疼。v0.7.0 引入了统一的向量环境核心。各模拟器现在可以通过lerobot-env-server以独立进程或 Docker 镜像方式运行。在仿真环境里，rollout、记录和遥操作都和在真实硬件上一样。首个基于新核心的基准测试是 NVIDIA 的 RoboLab，涵盖 120 个针对 DROID Franka 设置的桌面任务。
评估指标的严谨性更值得关注。lerobot-eval如今报告的不只是成功率，还会给出 95% Wilson 置信区间。例如，“成功率 90.0%（10 集中 9 集成功，95% Wilson 区间 59.6% 到 98.2%）”。这提醒人们，仅凭 10 次实验得出的高成功率或许只是运气，区间宽泛说明结果并不稳定。这种统计上的诚实，对科研和工程落地都很关键。
硬件支持与社区生态
硬件上，LeRobot 已支持 I2RT YAM 机械臂，含双臂配置，并通过惯性模型计算重力前馈项来补偿臂重。Seeed Studio 的 reBot B601 6 自由度机械臂也被纳入支持，兼容 RobStride 和 Damiao 两种电机家族。Unitree G1 人形机器人接入 NVIDIA 的 SONIC 全身控制器，策略输出 64 维运动 token，再由 onboard decoder 转成 50 Hz 的关节目标。此外，23 自由度的 G1 变体也进入了支持列表。
代码层面，LeRobot 全面转向类型化（Typed），mypy 规则集覆盖整个代码库，修掉了不少潜在 bug。文档经过机器翻译，现已支持中文、韩文和西班牙语。社区方面，Hugging Face Hub 上积累了近 300 TB 的开放物理 AI 数据，模态从真实机器人、手持夹爪到人类视频和仿真都有。JavaScript 包@huggingface/lerobot发布后，Web 开发者也能在浏览器里直接读取 LeRobot 数据集。
LeRobot v0.7.0 并非简单堆功能，它更像是对机器人开发工作流的一次系统性重塑：数据处理更轻盈，模型交互更自然，训练和推理更高效。想进入物理 AI 领域的开发者，如今面对的门槛比以往任何时候都低。
