大模型驱动的具身智能

你大概遇到过这种场面：老板看完一段机器人叠衣服的视频，转头问「我们那条产线能不能也这么搞」。可你一动手就发现，模型会聊天不等于会动手——语言指令到关节力矩之间隔着好几层，哪层用大模型、哪层必须用传统控制、出错谁兜底，全得自己定。这篇把落地链路拆成可检查的几步，给判断标准和验收清单。

你大概遇到过这种场面：老板看完一段机器人叠衣服的视频，转头问「我们那条产线能不能也这么搞」。可你一动手就发现，模型会聊天不等于会动手——语言指令到关节力矩之间隔着好几层，哪层用大模型、哪层必须用传统控制、出错谁兜底，全得自己定。这篇不聊概念，只把落地链路拆成可检查的几步，给你判断标准和验收清单。

先说清楚这篇文章的适用边界：如果你的任务步骤固定、环境完全结构化，读完可能觉得「没必要上大模型」，那是对的，这种场景用规则或传统规划更稳更便宜。本文针对的是指令开放、物体多样、失败可以停下来重来的场景。数字类的信息一律不写死，需要对比时到站内相应页面看当时的数字。

先分清楚：这条链路里谁在「想」，谁在「动」

整条链路可以切成四段：理解指令、拆任务、出动作、闭环纠偏。大模型通常只擅长前两段的开放场景，后两段仍要传统控制与实时反馈兜底。把这条界线先画出来，后面选型、分工、验收才有依据，否则很容易出现「模型说得对、机器做不到」的尴尬。

判断一段该不该交给大模型，看三点：输入是不是自然语言或图像这类非结构化数据、容错空间大不大、失败能不能停下来重来。三个都不满足就别硬上。关节级力矩、毫秒级闭环这类活交给实时控制器，模型只输出中间表示，比如目标位姿、子任务序列，不要让它直接吐底层指令。

• 输入非结构化、容错大、可中断重试：适合交给大模型规划
• 输入结构化、要求高频、失败不可逆：交给传统控制或实时控制器
• 介于两者之间：让大模型出中间表示，控制层负责把它变成动作
• 拿不准的时候，先问「这一层出错会不会撞坏东西」，会就别放模型

模型各司其职：别指望一个模型包打天下

常见分工是「大模型做规划 + 小模型或策略网络做执行」：前者处理长尾指令和常识，后者保证动作频率跟得上硬件。选型时按能力维度看，不按名气——要不要视觉输入、能不能输出结构化动作、延迟能不能压进你的控制周期。具体型号和对比去 /models 与 /benchmarks 看当下的数据，别凭印象选。

规划层

把自然语言和场景拆成子任务或目标点，允许慢，但要求语义对

执行层

把中间表示变成轨迹或动作，要求频率稳、抖动小

约束格式

把模型输出锁成固定结构，出错时能分清是理解错还是执行错

状态反馈

感知与标定的质量，决定整条链路是闭环还是开环瞎猜

把模型输出约束成固定格式（子任务列表、目标坐标）比让它自由发挥好排查，出错时能定位到底是理解错还是执行错。不适用场景：如果硬件本身没有可靠的状态反馈，再强的模型也只是开环瞎猜，先把传感器和标定做扎实，再谈模型。

1. 先定中间表示规定模型输出的字段和取值范围，写成 schema，任何下游模块只认这个格式。
2. 再测执行频率用仿真或空跑测控制层能不能稳住，模型多慢都不影响这条底线。
3. 最后接真实输入换成长尾指令和杂物体，看规划层会不会崩；崩了就加约束或换分工，不是换更大的模型。

上线前的验收与排查顺序

验收分三层：离线回放测任务拆解对不对、仿真里测动作可行性、真机上测长时运行的稳定性和恢复能力，三层都过再谈扩产。跳层验收是具身项目最常见的翻车方式——仿真里顺，真机上抖，往往卡在感知和标定，而不是模型本身。

• 排查按顺序走：先看指令理解有没有跑偏，再看中间表示是否合理，然后是控制层跟踪误差，最后看感知漂移
• 给每个子任务设超时和重试上限，超了就停下等人，不要让它自己硬撑
• 留好人工接管和急停，具身场景失败成本是物理的，不是刷新一下页面
• 每次改动只动一层，改完回到离线回放重跑，避免多层耦合看不出因果

成本与额度口径别拍脑袋，按调用量折算的部分到 /tools/model-cost-calculator 和 /price-watch 核对当时的数字。注意这里说的成本不只是模型调用费，真机试错、数据采集和硬件调试往往才是大头，算账时别只看一张账单。

小团队怎么起步、钱花在哪

一家 5 人小团队的现实路径：先选一个边界清楚的具体工位任务，用现成硬件加开源策略，把「能稳定重复跑」当第一目标，别一上来做通用机器人。通用能力是结果，不是起点；先把一个工位跑顺，才知道瓶颈在模型、在数据还是在机械。

1. 选工位挑一个动作种类少、失败可重来、有人看着的工位，明确成功标准。
2. 搭最小链路大模型只做任务拆解，执行走现成策略，先把接口跑通再看效果。
3. 采数据和试错记录失败场景并分类，判断是理解问题、表示问题还是控制问题。
4. 再决定扩不扩稳定重复之后，才考虑加任务种类或换硬件，别提前优化。

• 钱主要花在硬件调试、数据采集和真机试错上，模型调用费往往不是大头
• 先用 /compute/platforms 比一遍算力口径，再决定租还是买
• 数据是隐形门槛：采多少条、怎么标、覆盖哪些失败场景，比换哪个模型更影响效果
• 不适用：如果没有能反复试错的时间和场地，具身项目很难推进，先评估这一点再立项

具身智能不是把聊天模型接上机械臂，而是把「想」和「动」分成两层，各自守住自己的底线。