和 Robotic × LLM 研究员聊：LLM 会“吃掉”机器人模型吗？

1.Astra 等 LLM 在机器人控制中的表现，远远超出了许多 robotic researcher 的预期：虽然之前 LLM 就已经能帮助机器人理解任务、制定计划，但这次最值得重视的变化，是 LLM 开始直接生成机器人动作。也就是说，LLM 的能力正在从理解任务、制定计划的“大脑”（System 2），延伸到负责动作生成的“小脑”（System 1）。

2.以 Astra 为例，虽然它不是专门为操作机器人训练出的模型，却能根据视觉输入，生成机器人位置、姿态或关节层面的控制指令，它还能随当前场景灵活生成机器人双手操作轨迹，而不只是复现固定轨迹。

3.在 RoboDojo 仿真评测中，Astra 在推理强度设为 medium、采用简单零样本设置的情况下，平均得分为 28.97（满分 100），平均成功率为 22.48%，超过了当时参评的大部分 VLA、WAM 类机器人基础模型。

4.不过，28.97 分也不一定是 Astra 现有能力的上限。为了公平比较不同模型，RoboDojo 最初的测试采用了较简单的 harness，基本只让模型直接输出动作，如果可以让模型在操作后检查结果、分析错误，再调整下一步动作，完成任务的效果可能进一步提高。

5.有观点预计，到 2026 年底，会有模型在 RoboDojo 评测中拿到接近满分的成绩。

6.Astra 让 robotic researcher 感到震撼的另一个能力，是跨本体泛化：即同一个模型可以根据机器人自身的身体信息和执行反馈，逐渐适应不同结构的机器人。

•一位测试者向 Astra 提供了自制机器人的外观、自由度、夹爪或手的类型等信息后，就让 Astra 操作机器人，Astra 起初会出错，但经过少量重试和反思，控制逐渐变准；

•另一位测试者让 Astra 直接控制陌生机器人的关节，最初几帧动作较乱，但随着尝试继续，控制也越来越准确，动作也越来越流畅。

7.但也有 researcher 认为，Astra 的这些表现并不意味着机器人能力发生了质变，因为模型在操作机器人上的表现更像是已有的 coding 和游戏能力的自然延伸。考虑到 LLM 早就能正确理解任务意图，这一轮能力提升可能主要来自更准确的三维位置估计。

•比如在测试中，模型会花大量时间推理计算像素坐标、估算相机参数，再推算物体的三维位置，但最终生成的动作主要是在改变空间位置，其实很少涉及姿态调整。

8.不过，inference 速度太慢是目前这类 LLM 方案最直接的问题之一。而且现在 Astra 能处理的动作也很简单，目前很难直接扩展到灵巧手或机器人全身控制等需要协调几十甚至上百个自由度的任务。

9.此外，LLM 对 robotic 的冲击也已经从直接的动作生成扩展到了模型训练范式。比如，不少 researcher 开始思考，如何借鉴 LLM 的发展路径，让机器人模型也具备 in context learning 等能力；LLM 还大幅缩短了仿真环境的搭建时间，这也让一些 researcher 重新看好 simulation 这条技术路线。

10.随着 LLM 既能完成任务规划，又能直接生成动作，机器人是否还需要独立的“小脑”模型，是今天 robotics researcher 们之间的主要分歧。

11.支持大小脑融合的人认为，任务理解和修正动作都需要世界知识，独立的小模型不一定有足够容量掌握这些能力。既然 LLM 已经能理解任务、根据反馈纠错，System 1 与 System 2 就有可能由同一个模型承担。

•也有研究者预计，System 1 与 System 2 短期内仍会共存，未来可能融合，但长期如何分工暂时没有共识。

12.主张保留独立机器人模型的人认为，机器人模型不仅要生成正确动作，还必须及时响应环境变化，如果通用模型的推理速度跟不上，低延迟的动作模型就仍有价值。

•动态任务场景尤其需要模型在有限时间内给出下一步动作。比如桌面上的物体静止时，机器人可以有动作暂停，等待模型完成推理；但如果机器人是执行倒水之类的任务，水会持续流动，机器人必须及时调整动作。

13.此外，精细接触操作需要更快的响应，这类底层控制被称为 System 0。比如，机器手与物体的接触点从视觉上看经常会被遮挡，但考虑到实际操作中，几毫米的偏差就可能导致物体滑落，因此机器手其实需要根据触觉等传感器的反馈快速调整。

•以削黄瓜为例，人可以先决定“把皮削掉”，但削皮刀贴上表面后，手需要快速调整力度和位置，顺着黄瓜表面移动。如果每次细小接触都需要模型重新进行复杂推理，机器人的动作就会太慢。

•有研究员估计，这类底层控制至少需要每秒响应几十次，而云端通信加上模型推理，可能延迟一两百毫秒甚至更多。因此，即使 System 1 与 System 2 融合，System 0 可能仍需要在机器人本地运行。

14.比如 Dyna 联合创始人 York 最近也明确强调了实时控制对部署方式的要求。在他的设想中，System 2 可以通过语言来低频给出指导，而 System 1 和 System 0 都需要及时响应。除了模型推理速度，网络波动也会影响执行，因此他希望将这两层都放在机器人本地运行，只让 System 2 保留云端接入。

15.对于这些模型和控制层如何划分，也有研究者认为，System 0、1、2 没有固定的边界，模型如何分工，要看动作范围、响应速度要求和所需的模型规模。 输入与动作对应关系较固定、需要快速响应的任务，可以交给小模型；动作范围更广、决策更复杂的任务，则需要更多知识和计算。

16.In context learning 是机器人提升泛化能力的重要方向：模型可以利用 context 中的人类示范和自身执行反馈调整动作，不需要为当前任务重新训练模型。

17.但一些团队的实验发现，直接给 VLA 加入执行历史和反思能力，并不会自动带来纠错或调整能力。

•一个团队尝试让 VLA 利用历史信息，结果虽然模型训练和验证时的误差都下降了，但部署时，模型却没有表现得更好，有时反而变差。对这个现象，一种可能原因是加入历史信息的方式反而干扰了模型原先 pre-training 学到的能力。

•另一个团队基于 Qwen 改造 VLA，让机器人按指定顺序，把五六样零食和饮料放进各自的区域。在训练时，团队标注了完整计划、每一步是否完成，以及失败后应该重试。测试时，模型能说对计划，也知道哪一步失败了，但依然会反复做出错误动作。与不使用历史的普通 VLA 相比，它的成功率几乎没有提升。

18.事实上，要让反思能力能改善机器人表现，模型需要把语言反馈转化为具体的动作调整。一位研究者尝试把语言反馈与动作标注得更细。例如，抽屉没拉开时，不只写“失败了，重新来”，还要描述“抽屉没拉够，再拉开一点”，并与相应动作配对。结果，相比只给训练数据补充 CoT 标注，在细粒度的标注基础上加入 CoT，能训练出表现更好的模型。

19.但这种机器人模型的 in context learning 能力是否必须依靠专门的失败与恢复数据来训练，研究者有不同判断。

•Generalist 的一个 demo 中，机器人第一次抓得太高，第二次便降低了位置。有观点据此推测，训练数据中可能已经包含类似的失败与恢复示范，模型从中学会了这种调整。

•另一种观点认为，模型的纠错能力也可能是从其他任务迁移而来的。

1）考虑到现有采集数据中的错误示范比例较低，人的失误也不一定能覆盖机器人实际执行时的错误，仅靠这类数据，很难训练出能应对多种失败情形的纠错能力。

2）机器人模型可以沿用 LLM 的输入输出方式，这也让机器人有机会用上 LLM 已有的调整能力，例如，模型在多轮 coding 训练中学会根据运行结果纠错，在 computer use 中学会根据画面反馈调整下一步操作。有研究者认为，目前已经看到了部分这样的能力迁移。

20.即使模型具备 in context learning 能力，在模型实际执行任务过程中，是否需要引入动作执行历史，以及上下文中需要放哪些信息，最终还是要取决于具体任务。

•有观点估计，约八成机器人任务只需要机器人看当前状态就能决定下一步，做好这些机器人任务已经能覆盖很大市场了。

•前后步骤相互依赖的长任务，以及需要高精度操作的任务，更可能受益于引入动作执行历史，比如模型可以结合此前的动作与结果，推断机器人如何运动、环境如何响应，再据此调整下一步动作。

•此外，任务说明也是一种有用的上下文。例如，机器人在装配训练时没见过的家具时，可能需要先读说明书。

21.进一步，在机器人 context 不断累积后，长上下文下的动作稳定性和推理时延问题就会凸显出来。

•有团队曾在实验中将模型上下文长度设为约 8K token。随着执行历史不断累积，上下文达到 7K-8K token 时，机器人的动作开始混乱。

•一位研究者尝试用 test-time training 压缩上下文、控制时延，同时让机器人根据反馈纠错。（ICL 把新信息保留在上下文中，TTT 通过训练更新模型参数）但他测试 Astra 后发现，Astra 的 in context learning 能力已经能实现自己原本希望通过 TTT 获得的不少纠错效果。

22.LLM 给 robotic 仿真领域带来的冲击也引发了 researcher 们的共鸣：LLM 大幅缩短了仿真环境搭建的时间，这甚至让一些 researcher 重新看好通过仿真来扩大模型训练规模的这条技术路线。

•Astra 出现后，仿真团队原来需要几个月搭建的部分评测环境，现在几个小时、甚至几分钟就能完成。

•仿真环境建好后，机器人可以在其中反复尝试不同动作，并根据反馈，通过 RL 改进动作策略，甚至有研究者希望在模型的 pre-training 阶段就加入这种试错学习。

23.但环境搭建提速和仿真模拟更准其实解决的是不同问题：光线追踪、三维重建和 Gaussian 表示，让摄像头“看到”的画面更逼真，但物理模拟需要算清，手施加一个动作后，物体会怎样移动、变形和接触。视觉上更像现实，不代表同一个动作在仿真与现实中会产生相同结果。

24.仿真能覆盖哪些任务，仍取决于底层物理引擎能多准确地还原任务中的物理过程。现有物理引擎与五六年前相比没有质的突破，接触力、触觉等模拟结果与现实仍可能相差一个数量级。因此有观点更看好先在抓取、搬运固定形状物体等仿真已较成熟的任务上扩大模型训练规模。

•把真实物体还原进仿真，需要知道它的可动结构和物理属性。有实验室曾买入几千个抽屉等带关节的物体，逐个扫描、切分可活动部件，再建立开合关系。即便做完这些工作，也只测得了质量等部分属性，开合阻力等信息仍是不完整的。

•游戏引擎虽然积累了大量现成素材，也难以直接补齐精细操作所需的物理反馈。因为游戏为了实时运行，往往避开穿衣、吃饭等繁琐过程，或用预制动画呈现。这些素材可以帮助模型学习近大远小等基本空间规律，但难以直接提供精细操作所需的物理反馈。

25.对于机器人团队来说，提高仿真精度，往往也会推高训练成本。复杂接触、柔性物体等模拟得越精细，计算通常越慢、成本越高，同样预算下机器人能在仿真中尝试的动作次数也越少。当成本过高时，直接采集真实数据甚至可能更划算。

26.要降低这部分成本，也可以用 GPU 加速、提高并行程度，或用 AI 优化底层代码，但有研究者认为，目前整个行业在这类底层优化上投入的人才和资金仍然不足。

27.也有团队尝试用世界模型预测动作带来的状态变化，替代一部分仿真计算，来降低训练成本。

•例如，SuperMimic 用仿真数据训练世界模型，让它预测机器人执行某个动作后，身体状态会如何变化，再利用这些预测训练人形机器人的全身运动控制策略。但有研究者指出，SuperMimic 虽然涉及翻转、侧滚等复杂动作，但模拟的对象仍是由刚性部件和关节组成的机器人。

28.但世界模型的能力实际上取决于训练数据。如果数据只来自现有仿真器，它能学到的物理变化也会受仿真器能力限制。而且，即使引入真实数据能补充仿真难以覆盖的接触和形变，但这些真实数据也不一定能记录下现实世界里的完整信息。例如，用相机拍摄衣物时，衣物表面状态能被记录下来，底下被遮挡的褶皱却拍不到，模型很难仅凭这些画面还原衣物的完整状态。

29.降低训练成本的另一种思路，是让模型学会适应仿真与现实的差异，从而减少对高精度仿真的依赖。有观点提出，可以先让模型在较粗颗粒度的仿真中学会观察、行动和纠错，再到现实中通过少量尝试来适应环境。

•但这个设想有一个前提：同一个动作在仿真和现实中产生的效果，不能相差太远。如果模拟结果始终明显偏离现实，模型就很难靠少量试错完成环境适应。

•实际上，仿真所需的精度取决于具体任务。例如，清理房间中的固定形状物品，有些操作可以接受粗略模拟，但拉拉链等精细接触任务则需要更高精度。

30.进一步，还有研究者希望，模型能在持续与环境交互的过程中积累经验、提高能力。在机器人领域，Physical RSI 的设想就是：先让机器人在现实中执行任务，用执行中获得的数据对模型进行仿真训练，再将更新后的模型部署回现实，反复迭代。

31.除了模型能力和训练方法，训练数据对机器人动作的准确性影响也非常大。一小时数据能带来多少提升，要看数据中包含哪些任务和动作，以及示范数据与机器人实际操作的接近程度。

32.Ego、UMI 和真机数据各有优劣，总的来说，越接近机器人实际执行的动作，通常越难低成本、大规模地采集。

33.有团队用 Ego 数据，让模型学习如何规划任务、理解空间关系，但要让机器人掌握操作时该用多大的力、如何感知接触，还需要通过带传感器的手套等设备来采集力和触觉数据。

34.看好 Ego 长期价值的人认为，未来机器人的手和身体会更接近人类，再配合上更好的数据清洗、质量控制和任务多样性，模型利用人类视频学习动作的效果可能会提高。

35.对于真机数据来说，这类数据更接近机器人实际执行的动作，但成本较高，也更难扩大采集规模。

•按有效数据小时估算，UMI 数据比真机数据便宜，Ego 数据又比 UMI 数据更便宜，但真机可采集的数据总量可能比 UMI 少一个数量级。因此，真机采集可以优先选择覆盖仿真难以精确模拟的任务，比如流体操作、叠衣服等场景。

•真机采集还受场景覆盖限制：在一些非家庭场景，机器人更难进入，UMI 则更容易开展采集；这种差别在家庭场景中相对较小。

UMI 数据需求在快速上升

36.最近 UMI 数据和相关硬件的需求都在上升。

•一些团队用大量 Ego 数据训练后，虽然看到了模型能力提升，但动作仍不够准确，因此转向使用 UMI。

•对于夹爪操作，UMI 采集的动作更接近机器人实际执行的动作。一位研究者估计，50 小时 Ego 视频的训练效果，可能才相当于 5 小时 UMI 数据。

•UMI 的外购需求还与团队有没有自己的机器人有关：有固定本体的团队，往往围绕自己的夹爪或手采集 UMI 数据；没有特定本体的团队，会更依赖外部供应。

37.但 UMI 能否成为长期的数据路线，目前市场上仍有分歧。

•看好 UMI 的人认为，手持夹爪比真机更方便采集，又能提供普通视频缺少的动作信息，还可增加触觉等传感器，现在做 UMI 数采的公司即使后续要调整数据路线，已有的 UMI 数据也仍有利用价值。

Data Scaling vs Data Recipe

38.除了数据本身包含哪些任务，数据的筛选、标注和训练配比，也会影响模型的最终效果。

•一些低价采购的 Ego 数据中，可能包含大量重复的擦拭、清洁操作，如果缺少进一步地筛选和细致标注，数据的小时数虽然看起来很长，但能给模型提供的新经验仍然有限。

•即使将不同来源、不同形式、不同本体的数据进行统一表示，训练时仍要确定每类数据用多少、在哪个阶段加入。

39.先扩大数据量，还是先确定有效配比，不同 researcher 仍有分歧。

•支持先做 data scaling 的人认为，现有数据规模仍远远不够，应优先扩大采集和训练规模，比如 Dyna 就使用了超过 100 万小时的 Ego 数据，对 Dyna-2 进行预训练。

•主张先确定 data recipe 的人认为，数据量已经大幅增长，应先验证 Ego、UMI 和真机数据怎样搭配效果更好，再按有效配比扩大采集。特别是对于 AI labs 这些已有模型和大量数据积累的团队来说，新数据能补上模型的哪些能力，以及新数据应该怎样与已有数据混合训练，这些问题尤其重要。团队的采集设备、训练经验和算力预算，又决定了团队能以多大规模采集数据、开展多少轮训练实验。

40.在采集数据、验证模型效果时，机器人团队可以根据任务要求，自由选择使用夹爪或灵巧手，但实际部署时，机器人需要完成整套工作流程，灵巧手的优势就会凸显出来。

•以制作奶茶为例，即使十个步骤中有九步都能用夹爪完成，但只要有一步需要灵巧手来操作，只有抓夹的机器人就无法独立完成整杯奶茶的制作。

•化学实验室的工作往往涉及多种操作，例如从狭窄柜子里取试剂、处理细线或细长容器。总的来说，实验中使用的工具大多按人手设计，夹爪即便能完成部分动作，也不一定能稳妥地拿取和使用这些工具。如果为夹爪重新设计工具，又会增加改造成本。

41.不过，灵巧手在操作上的优势能否很快带来大规模需求，研究者仍有分歧，关键在于工业场景是否需要灵巧手。

•一种观点认为，标准化工厂任务用夹爪就够了，灵巧手要大规模用起来，还得等家庭机器人普及，而机器人进入家庭仍需要较长时间，因此灵巧手短期内很难有大规模需求。

•另一种观点认为，一些工业任务已经同时要求较大负载和灵巧操作。例如加工海产品时，机器人既要拿稳较重、湿滑的物体，又要翻面、对准刀具等，普通夹爪很难稳定完成这些操作。虽然夹爪也可以针对固定工序改造，但如果机器人总是需要改造夹爪，或只能做固定动作，客户可以直接选择专用机器。

42.灵巧手能否长期稳定运行，也是影响实际部署需求的重要因素。有使用者遇到过灵巧手用了两周就出故障、甚至第二天损坏的情况。

43.硬件之外，模型能否协调多个手指，也会影响灵巧手的使用效果。有研究员表示，在一些通用模型控制灵巧手的 demo 中，灵巧手的手指仍然只是像夹爪一样开合，还有出现控制失败或效果不佳的情况。也就是说，虽然模型已经学过大量人类操作视频，但由于灵巧手关节自由度太多等因素，目前机器人仍然用不好灵巧手。

44.为了兼顾灵巧性、稳定性和成本，三指手被视为一个折中方案。支持者认为，它比二指夹爪更灵活，手指又可以做得比五指手更粗、更稳，成本也可能更低。但三指的问题在于：

•数据采集：有人担心，人的五指动作难以直接用于三指手，但支持者认为，可以在数据采集时就让人按三指手能完成的方式操作，从而获得与硬件相匹配的数据。

•研发投入：一位从业者表示，团队已经有二指夹爪，新增研发资源又往往优先投向五指灵巧手，很难再单独组建团队开发三指手，即使做出了三指手的 demo，后续持续优化仍需要大量投入。

45.在 LLM 冲击下，具身公司需要重新判断研发投入的重点：是继续提高机器人模型的智能上限，还是先优化机器人在具体任务上的执行速度和成本？也就是说，自己的 System 1 模型要做成偏向 System 0 的高效控制器，还是偏向 System 2 的通用决策模型。

46.支持继续提高模型智能的人认为，物理世界的任务种类很多，仅靠 coding 等任务的训练，不一定能解决所有机器人控制相关的问题。如果持续有足够强的开源 LLM，具身公司可以在这些模型的基础上，针对机器人任务继续做 pre-training 或 post-training。随着资金、算力和人才投入增加，具身公司也可以选择从头训练自己的基础模型。

•而且提高机器人模型的能力，或许也可以降低新任务的适配成本。York 在访谈中表示，从 Dyna-1 到 Dyna-2，预训练模型变强后，任务微调所需的时间从以月计缩短到以天计。同时，Dyna 完善了数据采集、筛选和部署工具，让运营团队也能完成更多现场工作，减少对研发人员的依赖。

47.另一方认为，自研机器人模型不一定能在能力上超过通用模型，具身公司更应该利用通用模型已有的能力，让机器人以更快的速度、更低的成本完成实际部署中的具体任务。一位研究者设想：如果把机器人数据加入通用模型的训练，即使新增数据量只有原训练数据量的 1% 甚至 1‰，模型也可能凭借已有的知识和多模态能力，迅速学会机器人操作。

48.其中，利用 LLM 提高机器人任务执行效率的一个潜在思路是，具身公司可以从 Astra 中蒸馏出专门用于机器人控制的小模型。具体来说，团队需要先让真实机器人或仿真器执行 Astra 生成的动作，再用执行记录训练机器人模型。这需要时间，也要投入硬件和仿真设施，有观点认为，获取这些训练数据其实不一定比直接采集数据更便宜。

49.即使具身公司的这类机器人小模型推理更快、运行成本更低，这种速度和成本优势也不一定能长期保持。因为 computer use 和语音交互同样需要快速响应，LLM 厂商也有动力提高推理速度。

50.因此，有研究者表示，具身公司应在通用模型发展进一步提速前的这段窗口期，尽快把高效的机器人方案用于实际业务。“技术上可以做”与“谁能更快做出来”，是不同的问题。

51.在面向客户交付时，具身公司需要把模型和硬件配合好，提供能完成实际工作的整套机器人方案。

•在叠衣服、叠毛巾等场景，客户更可能为整套方案付费，而不只是调用模型 API。

•在零售和工业场景，一些团队过去用传统算法规划机器人的动作，现在改用微调后的 π0.5 或自有模型生成动作，但换用模型后，目前团队仍需针对客户的具体任务进行现场调试，才能让机器人完成实际工作。

•总的来说，进入新场景要采集多少数据、做多少调试，会影响具身公司的交付成本；运行稳定性和执行速度会影响机器人每天能完成多少工作。

52.此外，实际部署也是具身公司获取模型训练数据的途径：就像 LLM 厂商可以通过自有产品回流用户数据来训练模型，具身公司也可以通过持续记录机器人执行任务的过程和结果，来改进模型和产品。而且部署还能产生一类稀缺数据：机器人是怎样失败，又是怎样恢复的。

53.因此，对于具身公司来说，要获得并用好这些反馈，末端硬件设计、数据采集和客户部署就需要一起考虑：末端决定哪些动作数据能采集、能执行，部署能检验这些动作能否完成真实任务，并回流真实数据。