通用大模型直接开机器人？伊利诺伊团队测出下一步动作最低18.75%

教机器人干活，说到底是在教它什么？这个问题值得先想清楚。

这几年，机器人领域最热的一条路线叫VLA。

VLA，即视觉-语言-动作模型，是一类神经网络：把摄像头拍到的画面和人下的指令，直接换算成机器人各关节该怎么动。

训练办法很直接：攒下成千上万条人操控机器人的录像，让模型死记“见到这种场面，胳膊就该这么动”。在练过的任务上，成功率能超过98%，成绩并不差。

麻烦也出在这儿。这类模型好比只会照菜谱做菜的厨子，灶台一换、食材摆位一变，立马不知道手往哪放。本文作者在实验中把它们直接丢进没练过的新场景，π0.5、GR00T N1.5这些明星模型，零样本成功率是0%。真的是零。不是它们没本事，是那类“菜系”它们根本没学过。

另一条路也有人走：拿GPT这类通用大模型当机器人的“大脑”，管思考和规划，脏活累活交给外部工具——专门的抓取模型、运动规划器、图像分割工具SAM3等。听着是更聪明，可系统越搭越复杂，一堆模型互相配合，哪一环出了岔子都说不清，何况这些外部工具自己也得专门训练和维护。

于是研究者面前摆着一个挺刺人的问题：通用大模型这几年进步飞快，GPT能看图、会推理，为什么不能让它在机器人上直接动手？像师傅带徒弟那样，看一眼、想一步、动一下、再瞧瞧效果对不对，而不是靠那一堆外部模型和工具。

这项研究来自伊利诺伊大学厄巴纳-香

机器人究竟卡在哪一步

要弄清“通用大模型能不能直接操作机器人”，研究者没急着搭系统，先做了一轮体检。

他们出了一套240题的诊断测试，专门考VLM在操作机器人时躲不开的三个问题：下一步该做什么、刚做的动作有没有推动任务、当前这步算不算干完了。

VLM，即视觉语言模型，是能同时读懂图片和文字的通用AI模型，GPT、Qwen系列、GLM系列都属此类，与专门为机器人训练的VLA模型不是一回事。

结果有些出人意料。6个主流模型中，几乎所有模型都栽在同一处——选择下一步动作，这也是表现最差的一项。准确率最低仅18.75%，最高的GPT-6 Astra也只有60%。而判断“刚才有没有进展”“任务是否完成”这两项，普遍能到50%至80%。

这组数字点明了一件事：让VLM凭空想出一整套精确的机器人动作，比如朝哪个方向挪多少毫米，它做不好；可让它判断“眼前画面说明了什么”，它反倒拿手得多。

好比一位老练的大厨，尝一口就知道菜咸不咸、火候够不够；但你要他闭着眼凭感觉说出“再放多少克盐、炒多久”，多半会说错。若硬要VLM一步到位吐出精确动作指令，不给它反复看、反复改的机会，错误在执行前就已成定局，机器人会带着错判一路走到底。诊断测试的意义，就是提前把这个坑标出来，而不是等整机测试砸了再去猜原因。

还有个现象得单说：精度和速度在互相拉扯。GPT-6 Astra准确率最高，可平均每次回答要8.7秒；轻量级的Qwen3.8-Flash-Next只需0.276秒，快了30倍，准确率却打了折扣。这意味着系统设计时，最聪明的大脑和最快的反应没法兼得，只能做取舍。

MotorMind如何破解这道题

VLM的能力边界摸清后，MotorMind的设计思路也就出来了，共三条原则。

其一，不让VLM直接报出精确坐标，而是让它说“大致往哪个方向挪多远”，这种粗粒度的指令叫中层动作表示。

中层动作表示，是MotorMind给VLM开放的动作接口：既不是关节角度这类底层数字，也不是整段程序那样的高层描述，而是“向前移动12.2毫米”“张开夹爪”这类半抽象、半具体的指令。做什么、往哪动、动多少由VLM决定，坐标转换和执行细节则交给专门的控制器。

其二，VLM要能依据新画面不断修正判断，而不是一次生成整段动作序列，然后硬着头皮执行到底。

其三，VLM判断进展和完成情况并非百分百可靠，系统得反复核实，不能它一说“完成了”就照单全收。

这套设计落地后，成了一个五角色分工的系统：规划者把大任务拆成一串小目标；执行者针对当前小目标提出具体动作；监控者在动作执行中实时盯画面，发现不对就喊停；核验者在每个小目标结束后检查是否真的达标；记忆模块把执行过程中的证据整理成笔记，供后续决策参考。

这五个角色其实共用同一个VLM，差别只在喂给它的信息和要求它输出的格式。

有个设计得单独拎出来讲：监控和执行在这里是并排跑的，不存在谁排队等谁。

打个比方，教新手司机开车，要是非得等他整个急转弯做完才能喊“刹车，前面有坑”，那坑多半已经撞上了。管用的教练是手一直搭着、眼一直盯着路，在他打方向盘的同时发现不对就喊停，让他在下一个动作节点前收住，而不是等错误动作整套走完再纠正。MotorMind里的监控者干的就是这个活：后台线程持续看画面，一旦碰上“抓错了东西”“场景变了”这类异常就发停止信号，系统在下一个动作边界处立即打断，把还排在队里等执行的指令取消掉。不这么设计的话，监控就只能等执行者把一整批动作做完才插得上话，“发现抓错了螃蟹、盒子却已经放进去了”这种尴尬事就会频繁上演。

记忆模块写笔记也一样，不会把主线程卡住。下一个小目标可以先开跑，笔记在后台慢慢生成，要用的时候取最新写完的那份就行。这跟开会时一边讨论下一个议题、一边有人在后台整理上一个议题的纪要是同一个道理，会议不会因为纪要没写完就停下来等。

实验结果

道理讲得再顺，最后还得数字说话。

在LIBERO-PRO这个仿真测试平台上，MotorMind跟一票对手过了一招。

| 方法类型 | 基础任务成功率 | 扰动任务成功率 |

|---|---|---|

| CaP-X(零样本,代码生成式) | 13.3% | 19.2% |

| **MotorMind(零样本)** | **66.7%** | **53.8%** |

| OpenVLA-OFT(经过微调) | 98.3% | 51.2% |

| π0.5(经过微调) | 98.3% | 63.3% |

表里最有意思的一点是：MotorMind一点LIBERO的训练数据都没碰过，拿一个通用VLM配上这套harness(操作框架)就直接上场，基础任务成功率冲到66.7%，是此前最强零样本方法CaP-X的5倍。

更能说明问题的是扰动任务——把物体挪个位置、换个说法、换个任务目标再测一遍。这一轮MotorMind拿到53.8%，已经压过专门微调过的OpenVLA-OFT(51.2%)。一个没见过这些任务的通用模型，跟专为这类任务训练出来的模型打成了平手。多少能说明，靠死记硬背练出来的技能，环境一变，反倒不如“看一眼就临场判断”的能力经得住考验。

研究者另外做了一组“适应性任务”测试，考的是机器人在执行途中环境突然变化时顶不顶得住，比如目标物体被人挪走、传送带上的东西一直在动、指令做到一半被改掉。

| 任务类型 | 最强对比方法成功率 | MotorMind成功率 |

|---|---|---|

| 动态推理(需要靠语义线索找目标) | 30% | 70% |

| 场景突变(物体中途被挪位置) | 70% | 90% |

| 动态操作(传送带上抓取移动物体) | 40% | 80% |

| 指令突变(任务中途被改) | 60% | 60% |

这组数据背后有个挺有意思的推论：传统VLA模型把“看到的画面”和“该做的动作”锁成一一对应，环境一旦偏离训练分布，这层映射马上失灵。MotorMind则是每一步都重新观察、重新判断，环境变了就当成一个新的决策输入再推理一遍，用不着重新训练。

真实机器人上的表现

仿真跑得再漂亮，终究是虚拟世界。研究者把MotorMind装到真实的xArm6机械臂上，用RealSense摄像头当眼睛，测了三类场景：直接给出物体和目标容器名称的“直接感知”任务；执行过程中被人为捣乱、故意移动物体的“人工干扰”任务；以及用模糊语义描述目标的“语义理解”任务，比如“食物类的那个”“跟它颜色一样的那个”。

平均成功率达到95%，其中直接感知任务为98%，人工干扰条件下为92%。

论文里记录了一个具体案例，恰好能体现这套系统"边做边改"的本事。任务要求把蓝色方块放进箱子，执行者起初判断出错，机械臂移到了白色碗上方，那是个错误的目标位置。监控者马上发现该位置与既定目标不符，随即发出警报，执行者依据新的观察画面重新定位，找到真正的蓝色方块，抓取并完成放置。

全程没有人插手，错误是系统自己察觉、自己纠正的。那种"一出错就只能从头重启"的刚性流程跟它一比，差别是本质性的：它更接近一个会随时调整动作的真人操作者，而非一台死守预设脚本运转的机器。

换成更强的大脑，情况会怎样？

研究者还做了一个颇有意思的实验：把系统里的VLM从轻量级的Qwen3.8-Flash-Next替换成能力更强、速度更慢的GPT-6 Sol。

结果基础任务成功率从66.7%直接升到83.3%，三个子任务全线提升——空间任务由70%到80%，物体任务由80%到100%，目标任务由50%到70%。

这个结果分量不轻。它说明MotorMind框架本身没有针对特定模型做过任何定制优化，换一个更强的模型进来，整套系统的表现马上跟着上涨。那些需要重新采集数据、重新训练整套网络才能提升性能的VLA模型，逻辑跟这完全不是一回事：一个靠时间和数据堆出能力，另一个靠框架设计把外部智能"接上线"。往后通用大模型越变越强，这套框架有可能什么都不改，表现就跟着水涨船高。

不过天下没有免费的午餐，模型更强意味着反应更慢：GPT-6 Sol在Spatial任务上的平均耗时从199秒涨到370.4秒，几乎翻倍。这就又回到诊断阶段发现的那个权衡——聪明和快之间，眼下还是只能选一个。

拆掉某个零件，会怎样？

研究者另外做了一组消融实验，专门测系统里哪个角色真正不可或缺。

拿掉重新规划能力，成功率从66.7%暴跌到36.7%，掉了30个百分点。拿掉核验者，成功率跌到60%，掉了6.7个百分点。拿掉规划者，直接变成0%，整个系统彻底瘫痪。

这组数字排出的顺序挺有说服力：规划——把大任务拆解成一串可执行的小目标——是整套系统的地基，没有它什么都谈不上；重新规划的能力，也就是执行出错时能回头调整计划，是第二重要的保险；核验这道关卡影响相对小一些，但也绝非摆设。

道理跟盖房子差不多：地基（规划）塌了，房子根本立不起来；承重墙（重新规划）少一道，房子还能站着，但一遇地震就容易垂直坍塌；装修环节的某道检验工序（核验）省了，房子质量会打折扣，但至少不会直接倒。

还有个耐人寻味的发现：给系统更多执行时间，不一定换来更高的成功率。研究者测了300秒、450秒、900秒、3600秒四档执行预算，300秒和450秒都能做到66.7%的成功率，预算拉到900秒反而掉到50%。光靠"多试几次"硬撑，解决不了根本问题——机器人需要的是在恰当的时候知道该停下来，而不是无限循环地瞎试。

剩下的坑都在哪儿？

对这些问题，研究者并未绕开，而是单独做了一轮失败案例分析，将出错情形划为五类：视觉定位出错、任务尚未完成就提前宣布结束、规划失误、进度判断失准、监控没有盯住。

统计下来，视觉定位错误占比最大，在语义扰动、物体扰动、位置扰动这几种设置下尤其突出。意思是VLM经常认错东西，比如把黄油认成了汤罐，或者把奶油芝士认成了别的什么。

过早宣布完成也是一个大头，尤其在任务扰动和物体扰动场景下。有个案例很典型：任务是把一个碗从支架上移到盘子里，VLM却坚称"碗已经从支架移动到盘子，支架现在空了"，可实际画面里碗压根还在支架上没动。这种"自信地说错"比"犹豫不决"更难处理，因为系统本来就靠VLM自己的判断来决定下一步，它要是自己骗自己，监控机制也可能被蒙过去。

这几类错误与最初诊断测试的结果对得上：动作选择一项准确率垫底，说明执行环节本就容易出岔子；进度与完成判断都不够准，正好对应“假完成”一类的错误反复出现。诊断阶段暴露的弱项，后来在整机测试的失败模式中如实显现出来。

整篇论文里，最实在的或许就是这一点：作者没有声称所有问题都已解决，而是把余下的坑一一摆明，并给出判断——VLM 自身的视觉理解与自我核验能力一旦增强，这些坑会自然被填上，不必再往系统里塞更多外部工具。

Q&A

Q1：MotorMind是什么？

A：MotorMind是伊利诺伊大学厄巴纳-香

Q2：MotorMind和传统的VLA机器人模型有什么区别？

A：传统 VLA 模型要靠海量机器人操作数据来训练，一旦换了新环境就轻易失灵；MotorMind 的做法是用通用大模型做决策，再配上中层动作指令与实时监控纠错机制，不训练也能适应新场景，在扰动任务下表现甚至强过部分微调模型。

真实机器人上的表现如何？答案是：在xArm6机械臂上，MotorMind的平均成功率做到了95%。

测试中，即便有人中途人为干扰、移动物体，成功率也还能维持在92%左右。抗干扰和纠错能力，在这组数据里体现得比较明显。