英伟达联合纽约大学提出TacitVLA：机器人动作提速3.4倍

论文一作是纽约大学计算机科学博士生 Jack Lu，这项研究是他在英伟达实习时做的。指导者有两位：英伟达资深研究科学家、Alpamayo 研究技术负责人 Yan Wang，以及英伟达自动驾驶研究负责人、斯坦福大学副教授 Marco Pavone。

现在不少视觉 - 语言 - 动作（VLA）模型走的是先想再动的路子。动作还没出来，模型先写一小段文字——描述场景、列个计划，或者说明下一步的子任务。机器人成功率因此上去了，速度却掉了下来。原因在于推理文本得一个 token 一个 token 自回归地生成，文字不写完，动作就开不了工。论文实验里，写这段推理文本最多吃掉单次模型调用耗时的 70%。

来自

在机器人操作与自动驾驶的四个 benchmark 上，TacitVLA 的成功率和显式推理打平，延迟最多缩短 3.4 倍。速度一样的情况下，它比没加推理训练的同一模型成功率最多高出 17 个百分点。两个长程记忆 benchmark 上，TacitVLA 也刷出了已发表方法的最好成绩：RMBench 提升 21 个百分点，RoboMME 的计数任务提升 16 个百分点。

• 论文题目为 TacitVLA: Reasoning Vision-Language-Action Models Without Reasoning Latency。

• 论文链接：https://arxiv.org/abs/2610.17540

• 项目主页：https://tacitvla.github.io/

推理文本能起的三类作用

推理 VLA 生成的文本，作用有三个。

训练阶段，它充当监督目标。学会写出这段文本，会塑造 action expert 所依赖的 backbone。

放到长程任务里，这段文本还能当记忆用。比如机器人得连按好几次按钮，摄像头看不出已经按过几回，可只要有一份记下已完成子任务的日志，这事就解决了。

到了部署环节，文本就变成 action expert 的输入。action expert 得先读到当前这一步写出的文本，动作因此只能等着。TacitVLA 留下了前两种作用，第三种被它砍掉了。

方法

眼下的推理 VLA 基本都走同一套结构：视觉-语言 backbone 负责写推理，基于 flow matching 的 action expert 靠注意力读取 backbone 的信息，再输出动作。团队在每个 benchmark 上都用这套结构、在同一份数据上训练了三个策略。

其中 Explicit Reasoning 让 action expert 读取自己刚写出的推理，这和 embodied chain-of-thought 的做法是一回事。TacitVLA 用的训练序列、损失函数、prompt 和优化器与它完全相同，差别只在 attention mask 里改了一处，让 action expert 看不到推理 token。No Reasoning 则是同一结构在不含推理文本的数据上训出来的模型。

这样一来，推理可能帮上忙的两条路径就被拆开了。

一条是学着写推理，这或许能训出更强的 backbone；另一条是读取推理，这或许能给 action expert 补上有用的输入。Explicit Reasoning 两条都占，No Reasoning 一条都不占，TacitVLA 只留第一条——而第一条在部署时一分钱时间都不花。

部署的时候，要是推理文本派不上用场，TacitVLA 干脆不写。碰上记忆任务，每来一个新的子任务还是得写日志，留给后面的步骤用。所以它的做法是先算出动作，再趁着机器人执行动作的工夫把日志写掉。在两个记忆 benchmark 上，每次调用中日志都在动作执行完毕前写完，延迟一点没多。

实验结果

四个 benchmark 上，TacitVLA 的成功率都跟 Explicit Reasoning 在同一水平，No Reasoning 则被甩在后面；速度方面，它守住了 No Reasoning 的档位。

记忆类任务是它拉开差距的地方。RMBench 四个任务平均下来，TacitVLA 拿到 77.5%，Explicit Reasoning 是 77.0%，此前公开发表的最好成绩为 56.5%。相较 No Reasoning 的 60.4%，涨上去的部分主要来自 Press Button——这个任务里按了几下，只记在日志里。该任务上 No Reasoning 成功率 7.7%，TacitVLA 为 74.3%。

RoboMME 上，16 个任务全部拿来训练，TacitVLA 总体成功率 48.1%，此前最好结果为 44.5%；计数任务它做到 82.7%，此前最好 66.8%。只训练计数任务时，它拿到 89.5%，比该 benchmark 给出的人类参考成绩 88.5% 还高。那个参考设定里，人只挑高层步骤，具体动作交给 oracle planner 执行，TacitVLA 的每一步动作都是自己出的。

不需要记忆的任务，推理同样能派上用场。LIBERO-Plus 用零样本方式测七类扰动，两个推理策略在这个 benchmark 上拿下了仅用 LIBERO 训练的已发表策略中的最高分：Explicit Reasoning 73.5%，TacitVLA 72.9%，No Reasoning 67.6%。

标准 LIBERO 上 TacitVLA 达到 98.6%，跟已发表的最好结果打平。公开的 AlpaSim 挑战赛场景做闭环驾驶测试，TacitVLA 场景得分 52.5%，Explicit Reasoning 52.3%，No Reasoning 46.4%；跟 Alpamayo-R1 只差 2.5 分。后者是 10B 模型、用四个摄像头，TacitVLA 参数量不到它一半，摄像头也只用了一半。

单张 H100 GPU 上，LIBERO 里输出一个动作，TacitVLA 耗时 147 ms，Explicit Reasoning 要 495 ms，前者快 3.4 倍。自动驾驶场景下两者分别是 127 ms 和 269 ms；记忆任务上 Explicit Reasoning 慢 1.4 到 1.7 倍。TacitVLA 的办法是边执行边写日志，最多占掉执行时间的 23%。

总结

这套方案在机器人操作和自动驾驶两类场景里都做过测试，既包含依赖记忆的任务，也包含不依赖记忆的任务。无论哪种设定，推理带来的好处都是靠推理文本上的训练传给动作的；碰上记忆任务，此前写下的日志还会再传递一层收益。反过来，只把当前这一步的推理读出来，策略并不会因此做得更成功，只会更慢。

落地时既不用加模型，也不用配调度器。凡是采用这种结构的推理 VLA，训练阶段只要用 attention mask 把推理 token 对 action expert 遮住，就能直接变成 TacitVLA。