机器人记忆该不该有时钟?纽约大学上海分校团队提出TFP

资讯 腾讯网 作者:科技行者 全文 4331 字 · 约 11 分钟读完 分类机器人

泡茶的时候,你把茶包放进水里,然后呢?如果你是一个只会"看图识字"的机器人,这一刻你会很困惑。茶包刚放进去的画面,和泡了三十秒之后的画面,可能几乎一模一样,水还是那杯水,茶包还是那个茶包,颜色变化微乎其微。但正确的动作完全不同:刚放进去要等待,泡够时间了要立刻拿起来。问题是,机器人怎么知道"现在该拿了...

所属频道 机器人与具身智能

泡茶时,你把茶包丢进水里,接下来该做什么?

假设你是个只会“看图识字”的机器人,这一瞬间恐怕会犯难。茶包刚入水那帧画面,跟泡了三十秒之后的画面几乎看不出差别——水还是那杯水,茶包还是那个茶包,颜色变化小得可怜。可该做的动作恰恰相反:刚放进去得等着,泡到时候了就得马上捞出来。

那机器人凭什么判断“现在该捞了”?

纽约大学上海分校团队的一篇论文,点出了一个几乎没人留意过的缺口:眼下机器人的记忆系统,根本不知道时间究竟过去了多久。

**核心问题:记忆数的是“步数”,不是“时间”**

先说说机器人的“记忆”是怎么运转的。

当前主流的机器人控制系统,无论是扩散策略(Diffusion Policy,一种靠逐步去噪生成动作序列的机器人控制方法),还是

不过有个细节一直被忽略:这些记忆系统触发更新的依据是“又来了一张新图像”,并非“又过了一段时间”。

也就是说,假如机器人每0.1秒看一次画面,记忆系统在训练中学到的是“收到第n+1张图就更新一次”。可现实里,摄像头采样频率会变,推理会有延迟,网络还会卡顿。结果同样是“下一次更新”,有时隔了1秒,有时隔了4秒,记忆系统却把这两种情况当成一回事。

论文开头泡茶那个例子,本质就在这里。茶已经泡了26秒,这时第n+1张画面来了。如果这张是1秒后拍的(刚泡到27秒),机器人应当继续等;如果是4秒后拍的(正好30秒),机器人就该拿起来了。传统记忆系统只认“第n+1步”,画面又几乎一样,它压根分不清这两种情形。

论文里还有个例子:机器人要在传送带上接住一个移动的杯子,杯子会被短暂遮挡。它得记住杯子消失前的速度,才能在杯子重现时准确接住。可同样的位移,发生在1秒内和发生在4秒内,对应的速度完全不是一回事。记忆系统若不知道过了多久,速度自然算不准。

这就像在黑夜里摸索一个移动的物体,你靠触觉记忆判断它的位置和速度。可要是你根本不知道自己已经在黑暗里待了多久,刚才那一下触感是“刚发生”还是“很久以前”,判断就会彻底跑偏。接下来手该伸多远去接,只能靠猜。

**TFP的设计:用测量到的时间间隔驱动记忆演化,而不是步数**

研究团队提出的方法叫

具体怎么做?

每次查询时,TFP会拿当前观察特征和此前的记忆状态,预测两样东西:一个是候选记忆状态,告诉系统“时间充分的话,记忆该变成什么样”;另一组是时间常数,告诉系统“每个记忆通道该以多快的速度逼近这个候选状态”。

接着是关键一步:真正测量到的时间间隔,决定记忆实际朝候选状态走了多远。这个更新公式呈指数衰减形式,数学上可以证明它满足几条重要性质:间隔为零时记忆完全不变;间隔越长,记忆越接近候选值,而且是单调逼近;把一段时间拆成两段分别更新,结果和按总时长直接更新一致。

这些性质听着抽象,解决的却是个很实际的问题:换个采样频率,模型怎么办?

想象你训练了一只只认“整点报时”的闹钟,它只知道“现在是第几次响铃”,不知道两次响铃之间隔了多久。要是你突然把报时频率从每小时一次改成每四小时一次,这只闹钟会彻底懵掉,因为它的逻辑里没有“小时”,只有“第几次响”。可如果闹钟内部本来就按真实时钟走,哪怕报时频率变了,它照样知道现在几点。TFP要做的就是后者:让记忆的演化规则本身建立在物理时间上,而非“第几次观察”上。这样换观察频率时,它不用重新学习,公式天然能处理没见过的时间间隔。

这个设计还带来一个额外好处。不同记忆通道可以学到不同的时间常数:有的反应快,适合事件刚发生时迅速捕捉变化;有的反应慢,适合在长时间等待中保持稳定记忆。好比一支乐队,有的乐器负责快速的旋律变化,有的乐器负责低沉绵长的背景音,合在一起才有丰富的时间层次。

更新后的记忆状态,最终通过

整个系统端到端训练,用的是各个主干网络自己原生的模仿学习损失函数,不需要额外标注“这个事件发生在第几秒”这类时间标签。

**三个受控实验:时序到底重不重要**

光讲原理不够,研究团队设计了三个模拟任务,专门测试时序理解能力。

第一个叫"

三个任务有个共同点:时间信息对任务成败很关键,却始终不会当作显式输入直接喂给机器人。

结果很能说明问题。在标准的10Hz观察频率下,一个毫无记忆、只盯当前画面的"反应式"策略,在

那加上记忆会怎样?按原始训练频率跑,各类记忆方案表现都还过得去。可观察频率一旦从10Hz掉到5Hz,或者观察间隔出现抖动、丢帧,差距立刻露出来。

论文比了好几种记忆方案:普通的

在扩散策略主干下,

把三个任务、四种观察频率设置合起来看,扩散策略搭配TFP的平均成功率为77.5%,而最强的对比方案

研究团队还做了个更有意思的"拧时钟"实验。模型权重固定不动,只人为把输入给模型的时间间隔乘上0.5或2,机器人实际执行动作的物理节奏保持原样。结果如何?时间间隔减半,机器人就以为时间走慢了,按按钮的持续时间从3秒左右拖到接近6秒;时间间隔翻倍,它又提前松手,持续时间缩到不足2秒。50次配对试验里,这种方向性变化百分之百复现。

打个比方,这就像给跑步运动员戴上一块慢一倍的手表,他以为自己跑得慢,就拼命多跑一阵才肯停;换成快一倍的表,他又会提前觉得时间到了而收脚。左右他行为的是表上的时间,不是身体真实的疲劳感。实验说明,TFP的记忆状态确实在"看表"做决策,而不是凭空想出一个固定的动作模式。

研究团队还做了

另外,围绕拦截任务,团队验证了记忆里是否留住了目标被遮挡前的运动信息。结果表明,即使目标已经消失、机器人还没开始移动,仍能从记忆中较准地读出目标运动的方向和大小(速度误差约0.0101米/秒),比只用当前观察或单帧画面的方式更好。

**消融实验:三个设计选择,每个都重要**

TFP有三个关键设计:候选记忆的生成要依赖历史信息、时间常数要能自适应变化、记忆演化要用这套指数更新规则而不是随便一个学出来的门控。团队逐一拿掉这三项,看成功率会掉多少。

去掉历史依赖,只用当前观察生成候选记忆,扩散策略在

这几组对比指向一点:随便给模型塞个时间输入并不管用,时间得按结构化、符合物理直觉的方式嵌进记忆演化里,起作用的是这个结构本身,而不只是多出来的那点信息量。

**走出实验室:真机器人任务和通用操作基准**

模拟实验把原理讲清了,接着是真机器人测试。研究团队用一台

每个任务用50条演示数据训练,评估做20次试验。结果差距悬殊:扩散策略搭配TFP平均成功率64.0%,不带记忆的反应式策略只有17.0%,高出47个百分点;π0.5搭配TFP是76.0%,反应式版本为26.0%,高出50个百分点。泡茶和分阶段加热这两个任务上,两种主干都正好提升50个百分点,进一步印证了TFP对物理时长约束类任务的针对性改善。

| 方法 | 物品交换 | 计数抓放 | 倒水 | 泡茶 | 分阶段加热 | 平均 |

|---|---|---|---|---|---|---|

| 扩散策略(反应式) | 10.0 | 30.0 | 20.0 | 15.0 | 10.0 | 17.0 |

| 扩散策略+TFP | 60.0 | 75.0 | 60.0 | 65.0 | 60.0 | **64.0** |

| π0.5(反应式) | 15.0 | 40.0 | 30.0 | 25.0 | 20.0 | 26.0 |

| π0.5+TFP | 75.0 | 90.0 | 70.0 | 75.0 | 70.0 | **76.0** |

最后,研究团队还在

实验数据显示,π0.5搭配TFP后

视觉干扰(噪声、光照变化、背景变化)加入后

**后记**

论文里那个"拧时钟"实验做得够彻底,是读完之后最意外的地方。研究者没停在"加时间信息效果更好"这一步,而是把权重冻住,只改喂进去的时间数值,直接去看动作会不会跟着这个假时钟的节奏走,以此检验记忆和行为之间的因果链条。这更像神经科学里刺激大脑特定区域、观察行为反应的实验逻辑——做的是干预,不是统计相关。这么一来,"记忆状态究竟学到了什么"就有了更实在的底气,不再只是成功率数字好看。

有个细节值得单独拎出来说:静态时间常数的消融实验中,π0.5在延迟通道任务上的成功率降到13.3%,跌幅比扩散策略做同样消融后大得多。不同主干网络对"自适应时间尺度"这套设计的依赖程度并不一样。π0.5这类更倚重语言上下文和复杂推理的大模型,似乎更需要灵活的时间常数来配合它原本的决策逻辑。时间感知能力和模型整体架构之间,可能存在某种还没被充分理解的耦合,并非"哪里都套同一组参数"就能解决。

没解决的问题同样清楚。论文覆盖的是单臂、结构化程度偏高的任务场景;真实世界里时间跨度更大的任务,比如要记住几小时甚至几天前事情的家庭机器人,这套指数衰减的记忆机制还够不够用,论文没有作答。时间常数的学习范围终归有限,任务时间跨度一旦远超训练数据覆盖的范围,机制会不会失灵,是留给后续研究的一个真问题。

假设机器人要陪人过完一整天,它得记住的不只是三秒前按没按按钮,还有昨晚说好今天要做的事。到那时,记忆里装的时钟恐怕就不止一块秒表,而是一整套日历。

Q&A

Q1:Temporal Flow Policy是什么?

A:Temporal Flow Policy(TFP)让机器人记忆随物理时间演化,而不是随观察次数演化。它测量真实流逝的时间间隔,用这个间隔控制记忆状态的更新幅度,机器人因此能准确判断事件过去了多久、物体运动有多快,可适配扩散策略和

Q2:TFP和普通的GRU、LSTM记忆方案差别在哪?

A:普通GRU即便输入了时间间隔,也只当它是一个额外特征,记忆更新规则本身没动。TFP不一样:它拿测量到的时间间隔直接决定记忆状态向候选状态靠拢的程度,属于结构化的指数衰减更新,具备零间隔不变、单调逼近、可拆分组合等数学性质;实验表明,这套结构比单纯喂时间特征效果好得多。

Q3:TFP在真实机器人任务中表现怎样?

A:在

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 戴士钦离开英伟达:黄仁勋辞职令他格外失望

    IT之家 11 月 16 日消息,英伟达机器人学习工程师戴士钦(Darrell Dai)昨日发文,宣布将离开公司。戴士钦表示,他眼中的黄仁勋不只是英伟达 CEO,他钦佩黄仁勋投资那些一下子看不到明确前景的未来技术。在深度学习热潮到来之前,黄仁勋就已投入 CUDA,并在人工智能成为所有人关注焦点之前布局 AI 领域。这些

    来源 腾讯网
  2. 小鹏IRON人形机器人明年二季度对外开售,何小鹏预告科技日亮相

    IT之家 11 月 16 日消息,据蓝鲸新闻报道,今日晚间在小鹏集团 2026 年 Q3 财报电话会上,其董事长、CEO 何小鹏预告,在接下来的小鹏科技日和广州车展,最新版本的小鹏 IRON 将会公开亮相,将展示一系列与众不同的能力。何小鹏透露,明年一季度,量产的首批机器人将进入小鹏的部分门店开启试用;明年二季度,小鹏

    来源 腾讯网
  3. 浙商大会杭州开幕:王浩称浙商是浙江最闪亮的金字招牌

    11月4日,“天下浙商家乡行——走进世界互联网大会”活动在浙江桐乡举办。主办方供图11月10日,浙江省宁波市,埃美柯集团有限公司数字化车间内,智能设备全速运转、赶制订单。胡学军摄(人民图片)10月31日,浙江省温岭市,浙江钱江机器人有限公司生产车间内,工人开展机器人组装作业。段俊利摄(人民图片)10月21日,客商...

    来源 腾讯网
  4. 马斯克披露星舰V4细节:箭体约70米,发动机增至9台

    马斯克此次披露的核心信息包括:星舰V4箭体长度将增至约70米,推进剂装载量提升超过60%,发动机数量增至9台,并新增3台猛禽真空版发动机。尺寸上,V3星舰长度约为52米,V4增至约70米,增幅约40%;推进剂装载量提升超过60%,意味着单次飞行可携带更多推进剂进入轨道。此次披露发生在SpaceX近期一次星舰试飞之后,该

    来源 TechWeb
  5. 马斯克披露星舰V4方案:70米箭体、9台发动机,运力再升级?

    马斯克此次披露的核心信息包括:星舰V4箭体长度将增至约70米,推进剂装载量提升超过60%,发动机数量增至9台,并新增3台猛禽真空版发动机。尺寸上,V3星舰长度约为52米,V4增至约70米,增幅约40%;推进剂装载量提升超过60%,意味着单次飞行可携带更多推进剂进入轨道。此次披露发生在SpaceX近期一次星舰试飞之后,该

    来源 TechWeb
  6. 机器人视觉表征研究:高数值方块为何在动作模型中反复出现

    你有没有想过,一个正在学习拿起杯子、打开抽屉的机器人大脑里,到底在发生什么?它看着一幅画面,这幅画面被拆解成几十个小方块,每个方块对应画面的一小块区域。按理说,这些方块应该老老实实地记录自己那一块地方的信息:这里有个把手,那里是桌面。但研究人员意外发现,有那么几个方块,它们的数值大得离谱,差不多是其...

    来源 腾讯网
  7. 宾州州立大学研究:AI决策模型能被图片藏话骗倒吗?

    你有没有想过,现在很多AI系统做的根本不是"聊天"这件事,而是悄悄地在后台做决定。比如你问客服机器人一个问题,背后可能有个模型在判断该把你的请求转给哪个部门。你上传一张照片问"这个包裹能不能寄平邮",背后有个模型在看图、读数字、给出是或否的答案。你搜索商品,背后有模型在判断哪个结果跟你的需求最相关。这类模...

    来源 腾讯网
  8. GreenWAM:一套模型管20种机器人,Sber新研究把动作空间拧成79槽

    你有没有想过一个问题:如果你买了一台机器人,想让它学会叠衣服,它需要知道什么?大多数人的第一反应是,它需要会动手,会抓、会放、会转腕子。但真正有经验的机器人研究者会告诉你,光会动手不够。它还得知道,如果我这样动手,接下来会发生什么。衣服会不会滑下去,手会不会碰到桌角,叠好的角会不会歪。这其实是两件事...

    来源 腾讯网
  9. 埃里克·特朗普背书机器人公司欠薪停摆,CEO曾挪用资金买豪宅

    一家曾以“机器人士兵”概念吸引资本、并获得埃里克·特朗普背书的机器人初创公司,近日被曝未能按时发放员工工资,濒临倒闭。而就在一年前,其CEO被指挪用公司资金购置豪宅。这起事件不仅暴露了明星初创企业的治理失序,也为火热的国防科技投资敲响警钟。

    来源 AI 科技快讯
  10. 蚂蚁灵波挑战赛落幕:TARS战队真机评测82.5分夺冠

    11月16日,蚂蚁灵波首届具身大模型挑战赛总决赛结果出炉。 来自福田实验室、西北工业大学、普渡机器人、天津大学的五位选手组成的“TARS”战队获得一等奖;华中科技大学、清华大学深圳研究院、湖北元一智能的三位选手组成的“EVA”战队,以及天津大学、北京大学、中国科学院自动化研究所三位选手组成的“SST

    来源 AI 开发者社区
  11. TARS战队:00后带队夺蚂蚁灵波具身大模型赛最高分

    11月16日,蚂蚁灵波首届具身大模型挑战赛总决赛结果出炉。 来自福田实验室、西北工业大学、普渡机器人、天津大学的五位选手组成的“TARS”战队获得一等奖;华中科技大学、清华大学深圳研究院、湖北元一智能的三位选手组成的“EVA”战队,以及天津大学、北京大学、中国科学院自动化研究所三位选手组成的“SST”战队获得二等奖;“

    来源 AI 行业观察
  12. 退货仓里的机器人:从搬箱子到直接分拣衣服

    双11结束了,退货仓里的忙碌才刚刚开始。过去,自动化设备已经接手了不少工作。如今,双臂机器人又开始直接抓取、识别和分拣退回来的商品。一场围绕退货处理的人机分工变化,正在仓库里发生。

    来源 AI 行业观察
  13. 蚂蚁灵波首届具身大模型挑战赛收官:TARS战队82.5分夺冠

    11月16日,蚂蚁灵波首届具身大模型挑战赛总决赛结果出炉。“TARS”战队获一等奖,成员来自福田实验室、西工大、普渡机器人、天津大学;“EVA”战队(华科、清华深研院、湖北元一智能)和“SST”战队(天大、北大、中科院自动化所)获二等奖;“Vida”“FDU_SONIC”“ai-robot”获三等奖。

    来源 AI 产业速递
  14. 果实进化:具身智能从服务业切入,AI巡检已落地餐饮与食品工厂

    来源 | Tech星球文 | 华卫具身智能行业,正在经历一场微妙而又深刻的变化。过去,机器人公司热衷于展示自己的技术上限:能跳多高、跑多快,又能完成多少复杂动作。但到了下半年,行业开始出现另一种声音。比起证明机器人有多聪明,越来越多人开始关心它们走进真实场景后的表现。最近30天里,行业接连发生了几件具有风向标意义的事情

    来源 腾讯网
  15. 华为云发布具身世界模型,物理AI再迎重磅催化!宇树科技翻红涨超1%,机器人ETF汇添富(159213)全天逆市吸金!人形机器人产业趋势怎么看

    11月16日,A股市场震荡回调,沪指跌0.87%险守3600点,光模块、半导体为代表的双创指数明显承压,部分物理AI标的活跃,宇树科技翻红涨超1%,但板块整体震荡,机器人ETF汇添富(159213)标的指数跌超3%,资金逆市坚挺涌入,机器人ETF汇添富(159213)再度吸金,近3日有两日实现资金净流入。机器人ETF汇

    来源 腾讯网
  16. 马斯克脑机接口连上扫地机:渐冻症患者用意念操控Matic

    “ 手不动,嘴不张,地扫完了。好家伙,现在扫个地,连嘴都不用张了。马斯克的脑机接口,把"意念扫地"变成了现实。近日,扫地机器人公司Matic在X上发了一段视频,主角叫Zach McManus。他是一位ALS(渐冻症)患者,也是Neuralink的第22位植入者。视频里,Zach坐在电动轮椅上,没抬手,没出声,仅凭大脑里

    来源 腾讯网
  17. 马斯克披露星舰V4细节:箭体加长约40%,推进剂载荷提升超60%

    IT之家 11 月 16 日消息,在 SpaceX 首次成功用发射塔机械臂捕获星舰飞船上面级的第二天,埃隆 · 马斯克(Elon Musk)公布了下一代星舰 V4 版的升级计划。新版本飞船长度将增加约 40%,推进剂装载量提升超过 60%,发动机数量也将从 6 台增加到 9 台。 马斯克当地时间周日晚间在 X 平台发文

    来源 AI 行业观察
  18. 蔚建科技完成超亿元融资:建筑机器人三年订单复合增长超100%

    图源/企业 本文约2700字,建议阅读7分钟 作者丨欧雪 编辑丨原斯来 硬氪获悉,建筑机器人公司上海蔚建科技有限公司(下称“蔚建科技”)已于近期完成第五轮融资,融资金额超亿元人民币,投资方为财通资本。本轮资金将主要用于生产制造、海外市场开拓、产品和具身智能技术持续研发投入。 蔚建科技成立于2020年6月,是全球建筑机器

    来源 AI 行业观察
  19. 特朗普家族背书机器人公司陷欠薪:CEO曾挪用资金买豪宅

    一家曾以“机器人士兵”概念吸引资本、并获得埃里克·特朗普背书的机器人初创公司,近日被曝未能按时发放员工工资,濒临倒闭。而就在一年前,其CEO被指挪用公司资金购置豪宅。这起事件不仅暴露了明星初创企业的治理失序,也为火热的国防科技投资敲响警钟。

    来源 AI 行业观察
  20. 星舰第15次试飞:飞船首次被机械臂接回发射塔

    北京时间 11 月 15 日凌晨,SpaceX 的星舰飞船结束了约 22 个半小时的飞行,返回美国得克萨斯州星港基地。随着飞船缓缓降至发射塔旁,两根巨大的机械臂合拢,将它稳稳接住。这是 SpaceX 首次用发射塔接住从轨道返回的星舰上面级飞船。回收成功后,SpaceX 的首席执行官埃隆·马斯克(Elon Musk)向团

    来源 腾讯网
向下滚动自动加载更多