TacitVLA:机器人边想边动,成功率不降反快3.4倍

资讯 AI 应用前沿 全文 3524 字 · 约 9 分钟读完 配图 7 张 分类英伟达机器人

现在的视觉-语言-动作模型喜欢先写一段文字再行动,虽然准但太慢。纽约大学和英伟达的研究发现,模型只要学过怎么写推理就行,不用真等写完。新提出的TacitVLA在保持高成功率的同时,把延迟降低了3.4倍,还在长程记忆任务上刷新了纪录。

所属频道 算力与芯片机器人与具身智能

机器人动手之前,为什么总要“三思而后行”?

看过最新具身智能机器人的人,大概都碰到过一个挺有意思的场面:还没伸手,它们先“唠叨”起来。桌上摆着个苹果,模型不是直接去抓,而是在内部先吐出一段话:“这是一个红色的苹果,位于桌子左侧,我需要伸出左臂……”

图片

这套做法叫显式推理(Explicit Reasoning)。在视觉-语言-动作(VLA)模型里,它确实能把任务成功率往上抬——复杂的视觉场景被转成语言逻辑,模型理清思路更容易。可代价同样摆在明面上:慢。

图片

推理文本得一个token一个token自回归地往外蹦,字没写完,动作就只能干等。一项针对现有模型的测试显示,写推理文本这一步,占了单次模型调用时间的70%之多。放到自动驾驶或者精细操作机器人身上,几百毫秒的延迟足以酿成大问题。

图片

于是疑问来了:推理带来的好处,到底是因为模型“读”了那段文字,还是因为模型“学”过怎么写那段文字?英伟达、纽约大学、UC伯克利等机构的研究团队盯上了这个点。他们的新论文《TacitVLA: Reasoning Vision-Language-Action Models Without Reasoning Latency》抛出一个反直觉的结论:模型只要学会推理的逻辑就行,运行时不必真把推理过程读出来。

图片

顺着这个发现,团队做出了TacitVLA。训练阶段它和普通模型一样学着写推理,到了实际部署,动作模块对这些文本一概不理。结果有点出人意料:成功率没掉,速度快了3.4倍。

图片

推理文本究竟起什么作用?

图片

想弄懂TacitVLA新在哪,先得把推理文本在VLA模型中的三个角色拆开看。

图片

其一,它是训练时的监督信号。模型被要求生成推理步骤,背后的视觉-语言主干网络(Backbone)就被逼着去学更深一层的场景理解。这种训练方式塑造了模型提取特征的路子,让它比只盯着像素看的模型更懂“语义”。

其二,它充当长程任务里的记忆载体。设想一个要连按三次按钮的任务,摄像头只看得见当前状态,之前按过几次它记不住。可模型要是能把“已按两次”写进日志,后面步骤就能把这个信息读出来。这个时候,文本就是外部记忆体。

其三,它是动作执行时的输入。传统显式推理模型里,动作专家模块(Action Expert)会读当前生成的推理文本,再据此定下一步动作。延迟正是从这儿来的:动作必须等字写完。

TacitVLA的核心洞察就落在这里:前两个作用缺不得,第三个作用却是多余的,甚至还拖后腿。团队给出的假设是,模型一旦通过训练掌握了推理逻辑,其内部表征已经装够了做决策的信息,用不着再靠读明文来“提醒”自己下一步干什么。

怎么证明“读了没用”?

为验证这个假设,研究人员搭了一组严谨的对照实验。他们选的是一种主流VLA架构:视觉-语言主干负责生成推理,基于流匹配(Flow Matching)的动作专家则通过注意力机制读取主干信息,再输出动作。

同一份数据集上,团队训练了三种策略不同的模型:

  1. 显式推理(Explicit Reasoning):标准做法,动作专家能读到刚生成的推理文本,对应现有的最先进方法。
  2. 无推理(No Reasoning):模型从没见过推理文本,直接在原始数据上训练,作为baseline,代表没有推理能力的情形。
  3. TacitVLA:主角登场。训练时它用的序列、损失函数和提示词与显式推理一模一样,唯一动过手脚的是注意力掩码(Attention Mask)。掩码被改成这样:动作专家在生成动作时“看不到”推理部分的token。

这个设计把推理的两条潜在收益路径分得干干净净:一条是“学习写推理”对主干网络的优化,另一条是“读取推理”给动作模块补的上下文。显式推理两头都占,无推理两头皆空,TacitVLA只留前一条。

部署阶段,TacitVLA的处理逻辑也不复杂。任务不需要记忆,它就跳过文本生成,直接输出动作;任务需要记忆(比如记按钮次数),它先把动作算出来让机器人动起来,日志则放到后台异步写。日志写入是在动作执行期间并行干的,通常动作还没结束就写完了,所以不会多出等待时间。

实验结果:又快又准

实验横跨机器人操作与自动驾驶两大领域,任务里既有要长程记忆的,也有不需要记忆的。结论印证了团队的猜想:读取当前步骤的推理文本,除了拖慢速度,并不会把成功率抬上去。

机器人操作表现

在LIBERO-Plus基准测试中,模型要应付七种不同的环境扰动。TacitVLA拿到72.9%的成功率,跟显式推理的73.5%几乎打平,又把无推理模型的67.6%甩开一截。这两个推理模型的成绩,都超过了此前仅用LIBERO数据训练的已发表最佳结果。

标准LIBERO测试里,TacitVLA跑出98.6%的成功率,跟当前最高水平打平。

更值得看的是那些得靠记忆撑住的长程任务。RMBench基准上,它的平均成功率是77.5%,比显式推理的77.0%略高一点,把此前最好成绩56.5%甩开了一大截。以“Press Button”任务为例,按键次数只能靠日志记录,无推理模型在这里栽得很惨,成功率只有7.7%;TacitVLA靠异步日志机制把这个数字拉到74.3%。换句话说,只要记忆功能还在,拿掉实时推理读取并不会拖累性能。

RoboMME基准上它的表现同样不弱。用全部16个任务训练时,总体成功率48.1%,高于此前的44.5%。难度更高的计数任务里,TacitVLA拿到82.7%,此前是66.7%。如果只用计数任务做微调,成功率还能到89.5%,比人类参考成绩88.5%还高。这里说的人类参考,是由人挑选高层步骤、oracle planner执行具体动作的设定,而TacitVLA是端到端自己把动作全做完。

自动驾驶表现

AlpaSim封闭场景的闭环驾驶测试中,TacitVLA场景得分52.5%,和显式推理的52.3%几乎一样,明显高过无推理模型的46.4%。它的参数量不到对比模型Alpamayo-R1的一半,摄像头数量也只有一半,这个成绩算得上划算。

速度提升显著

速度才是TacitVLA最突出的地方。单张H100 GPU上处理LIBERO任务,它输出一个动作只要147毫秒,显式推理要495毫秒,慢了3.4倍。放到自动驾驶场景,TacitVLA耗时127毫秒,显式推理是269毫秒。

就算是需要写日志的记忆任务,TacitVLA也比显式推理快1.4到1.7倍。日志写入最多占掉动作执行时间的23%,而且完全并行,用户感觉不到延迟。

这意味着什么?

TacitVLA一出来,等于给眼下火热的“推理型VLA”浇了盆冷水,也指出了一条更务实的路。

前一阵业界普遍觉得,模型得学人那样把思考过程说出来,才能做出对的决策。这项研究给出的结论不一样:对机器来说,“内化”的推理可能比“外显”更高效。训练阶段生成推理文本时,模型已经学会了怎么结构化地看懂场景、规划步骤,这种能力沉在神经网络权重里,每次推理不必再生成文本、读一遍来反复确认。

落到实际部署上,这件事分量不轻。机器人和自动驾驶领域,延迟常常直接决定系统能不能用。3.4倍的速度提升,意味着同样的硬件能撑起更高频率的控制循环,或者把算力成本压得更低。

而且TacitVLA实现起来很简单,不用加额外的模型组件,也不用复杂的调度器。任何采用类似架构的VLA模型,训练时把注意力掩码调一下,让动作模块看不到推理token,就能立刻变成TacitVLA。成本这么低的改法,很可能很快被搬进现有的具身智能系统。

当然,推理文本也不是没价值。需要跟人交互、解释决策过程,或者处理特别复杂、得多步纠错的任务时,显式推理照样有用。但对大多数追求实时响应的常规任务来说,TacitVLA证明了一件事:完全可以做到“心中有数,手下不停”。

这项研究的第一作者是纽约大学计算机科学博士生Jack Lu,主要工作在英伟达实习期间完成。论文由英伟达资深研究科学家Yan Wang和斯坦福大学副教授、英伟达自动驾驶研究负责人Marco Pavone指导。具身智能正从实验室往工厂和家庭走,怎么在智能与效率之间找平衡,会是接下来几年的核心议题。TacitVLA给的答案很简洁:有时候,少说多做才是最好的策略。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 英伟达联合纽约大学提出TacitVLA:机器人动作提速3.4倍

    本文第一作者为纽约大学计算机科学博士生 Jack Lu,研究工作完成于他在英伟达实习期间。本文由英伟达资深研究科学家、Alpamayo 研究技术负责人 Yan Wang,以及英伟达自动驾驶研究负责人、斯坦福大学副教授 Marco Pavone 共同指导。如今,许多视觉 - 语言 - 动作(VLA)模型会先推理、再行动。

    来源 腾讯网
  2. 英伟达副总裁塔拉:自动驾驶与AMR已过商业化临界点

    11月9日,据财闻海外资讯援引韩联社报道,英伟达(NVDA.US)机器人与边缘AI(Edge AI)业务副总裁迪普·塔拉在首尔 COEX 举行的物理AI媒体圆桌会议上表示,物理人工智能(Physical AI)和机器人领域的自动驾驶与自主移动机器人(AMR)已率先突破技术瓶颈,进入初期商业化阶段。塔拉指出,机器人要实现

    来源 腾讯网
  3. GPT-6 Astra机器人能力遭质疑:或接受过专门训练

    机器之心编辑部2026 年 9 月 3 日,GPT-6 Astra 正式发布。除了推理、编程和 Agent 能力,这款新模型在机器人操作领域展现出的潜力,也引起了不少关注。在很多人看来,一个通用多模态大模型,似乎已经能够理解机器人所处的环境,并根据任务要求生成相应动作。发布后,NVIDIA 将 GPT-6 Astra

    来源 腾讯网
  4. ToyBlocks:机器人学习为何离不开可控实验场?

    Allen AI 推出 ToyBlocks,一个基于桌面积木的仿真框架。它通过自动生成海量训练数据,帮助研究者拆解机器人“为什么失败”。文章分析了其在空间泛化、高层推理及虚实迁移上的表现,并开源了代码与数据集,旨在让机器人学习像生物实验一样可重复、可追溯。

    来源 AI 应用前沿
  5. 乌兰察布模式:美国数据中心为何被叫停,中国为何忙着开工

    数据中心迎来了它的至暗时刻。美东时间2026年11月5日,美股AI产业链创下了19个月来最大的单日跌幅。纳斯达克综合指数收跌5.52%,较10月高点回撤逾10%、跌进技术性回调区间;费城半导体指数跌12.25%,英伟达跌9.26%,AMD跌17.26%,闪迪跌22.26%,全市场市值一天少了约3万亿美元。就在美股大跌的

    来源 腾讯网
  6. 苹果AI提速:人形机器人进展曝光,宇树G1背着跑千问的Mac mini

    打开网易新闻 查看精彩图片 苹果新 CEO 最近对自家 AI 的进度有点不满意。 据彭博社最新爆料,苹果 CEO 约翰·特努斯已经要求软件主管费德里吉加快 AI 开发节奏,拿出更大胆的方案,不能只满足于给 Siri 升级几个功能。 比起苹果 AI 落地的速度,苹果在研究上的进展其实超出很多的预期,其中就包括具身智能,苹

    来源 AI 行业观察
  7. 事关AI交易走向,硅谷、华尔街热议“黄仁勋绯闻”,马斯克力挺

    黄仁勋婚外情事件持续发酵,红杉合伙人Maguire力挺黄仁勋,马斯克转发称“我同意”。Bill Ackman表示,黄仁勋是人,都会犯错。特朗普称愿带黄仁勋出访亚洲。散户看戏表示,“贝佐斯有过婚外情,比尔·盖茨有过婚外情,马斯克也有过婚外情”,但都没影响公司。但华尔街担心黄仁勋会辞职,“很多基金经理将在未来几周减持英伟达

    来源 华尔街见闻
  8. 黄仁勋承认出轨:女方疑似朋友圈曝光,英伟达启动独立调查

    曝光的朋友圈页面中,最引人注意的是个人背景图:照片里的她留着黑色中长发,身着简约白T恤搭配牛仔裤,嘴角带着明显的酒窝,笑容舒展自信,整体气质大方。从朋友圈动态可见,她的足迹遍布意大利、台北等地,还曾出席英伟达GTC大会,动态文案记录着出行、聚会等日常片段。

    来源 TechWeb
  9. 黄仁勋承认出轨:英伟达启动独立调查,涉事女方曾现身GTC大会

    曝光的朋友圈页面中,最引人注意的是个人背景图:照片里的她留着黑色中长发,身着简约白T恤搭配牛仔裤,嘴角带着明显的酒窝,笑容舒展自信,整体气质大方。从朋友圈动态可见,她的足迹遍布意大利、台北等地,还曾出席英伟达GTC大会,动态文案记录着出行、聚会等日常片段。

    来源 TechWeb
  10. 上纬新材启元机器人第10000台下线:月活超98%,日均交互100多次

    IT之家 11 月 8 日消息,上纬新材启元机器人第 10,000 台个人机器人正式下线。 上纬新材启元机器人联席总裁、Q 业务部总裁刘东方介绍:当前启元机器人的月活超过 98%,日均在线峰值超过 40%,日均在线时长 3 小时,平均每位用户每天交互 100 多次。 IT之家注意到,在量产现场,刘东方将编号为“NO.1

    来源 AI 行业观察
  11. 00后团队云望创新:三轮融资后推出A1 Lite,花1000多天做智能泡沫轴

    公司已经完成三轮融资,二代产品云望 A1 Lite 已正式在线下首发。 作者丨杨文静 编辑丨姚单 投资人只和他聊过一场足球,就做出了决定。 不久前,云望创新第二代全自动泡沫轴 A1 Lite 线下首发,雷峰网·鲸犀见到了这个团队。他们已经完成三轮融资,并以一年一代的进度在迭代产品。 这是一个 00 后团队,创始人孙英东

    来源 AI 行业观察
  12. 黄仁勋致歉承认对妻子不忠,特朗普称他是好人盼一切安好

    事件曝光后,美国总统特朗普在接受福克斯新闻记者提问时回应称:“我还没跟他谈过这件事。我只知道他是个很好的人,但谁也说不准到底发生了什么。我当然希望一切都好。他一直以来的表现非常出色,所以我真心希望一切都好。在我看来,他是个很好的人。”特朗普同时表示,黄仁勋应该继续担任英伟达CEO。

    来源 TechWeb
  13. 黄仁勋公开信承认对妻子不忠,特朗普:他是个很好的人

    事件曝光后,美国总统特朗普在接受福克斯新闻记者提问时回应称:“我还没跟他谈过这件事。我只知道他是个很好的人,但谁也说不准到底发生了什么。我当然希望一切都好。他一直以来的表现非常出色,所以我真心希望一切都好。在我看来,他是个很好的人。”特朗普同时表示,黄仁勋应该继续担任英伟达CEO。

    来源 TechWeb
  14. DeepSeek日活破百万,Agility上市与人形机器人商业化冷思考

    2026年11月AI圈动静不小:DeepSeek Harness日活达154万,Inkling 2 Small在ARC-AGI测试中拿到高分并计划开源。硬件方面,Agility Robotics成为美国首家人形机器人上市公司,但商业模式仍受质疑;中国移动千亿投入算力基建。与此同时,科技巨头的数据中心扩建在美国多地遭遇社

    来源 AI 应用前沿
  15. OpenClaw装进Windows:不在电脑旁也能让AI远程找文件

    人在公司,重要文件却落在家里?本文记录在Windows上部署开源AI网关OpenClaw的全过程。通过配置Node.js环境、接入大模型API,并利用cpolar实现内网穿透,让AI助手能通过飞书或微信接收指令,直接操作本地电脑查找文件、生成代码甚至部署服务。这不仅是一个聊天机器人,更是一个能真正“动手”干活的远程数字

    来源 AI 应用前沿
  16. 美情报备忘录称中国国安部招募Megaspeed高管监视黄仁勋?

    TechCrunch报道,一份今年早些时候流传的美国情报备忘录据称声称,中国国家安全部招募了一名女性科技高管,以监视英伟达CEO黄仁勋,涉事高管与Megaspeed有关。报道未公开可验证证据,相关方尚未回应。事件再次凸显AI芯片竞争下的地缘政治风险与企业高管安保难题。

    来源 AI 科技快讯
  17. 马斯克谈Optimus:或只租不卖,单台初期成本约3万美元

    IT之家 11 月 7 日消息,科技媒体 Not a Tesla App 昨日(11 月 6 日)发布博文,报道称当地时间周五在美国纽约市林肯中心举行的第 33 届巴伦投资大会上,全球首富埃隆 · 马斯克(Elon Musk)透露特斯拉 Optimus 机器人可能会采用“只租不售”方式。 在被问及特斯拉 Optimus

    来源 AI 行业观察
向下滚动自动加载更多