MIT新记忆系统UQ-DAAAM：机器人认错东西后，能自己回头改

机器人走在路上，瞥见屋顶上有个灰色的东西。距离远，画面也糊，它一开始没描述准，接着干脆把对方认成了一只松鼠。等它继续往前挪，摄像头换了个角度再拍，系统这才看清：那其实是根烟囱。

多拿到一些信息之后，机器人能不能跟人一样，回头把先前的判断改过来？

麻省理工学院的研究人员近日拿出了一套新的机器人记忆系统 UQ-DAAAM，要处理的就是这件事。它能查一查记忆里哪些物体的描述靠不住，再从已经拍下的画面里找更清楚的视角，把信息补上、把记忆更新掉。

测试里，对那些被标成不确定的物体，系统最多补两个观察视角，就让 92.3% 的物体描述把不确定性压到了设定阈值以下。在一项时空问答测试中，它回答描述性问题的准确率从 71.1% 升到 76.1%，比原有系统高；对物体位置和出现时间的判断也有改善。

往后要在家庭、医院或工厂里长时间干活的机器人，得记住环境里有什么东西、各自在哪儿，这是完成复杂任务的前提。研究人员希望机器人不光把看到的东西记下来，还能判断这些记忆靠不靠得住，信息不清楚时主动去找线索，别让最初的错误拖累后面的任务。

机器人记住环境，也可能记错

设想这么一种情况：紧急时刻，有人让机器人去走廊取一台挂在墙上的除颤器。可机器人之前路过时，把除颤器错记成了灭火器，等真要找这台设备，记错的那笔账就会碍事。

机器人要回答“东西在哪里”“上次是什么时候看到的”，就得把不同时刻观察到的信息存下来，再跟物体在环境中的位置对上。尤其是长时间运行时，这些信息得不断积累、不断调用，跨多个步骤的任务才做得完。

此前，MIT 研究团队开发过一套叫 DAAAM 的机器人记忆系统。机器人边走边用摄像头拍周围环境，再靠视觉语言模型（VLM）给画面里的物体生成文字描述，并把描述跟物体在三维地图中的位置关联起来。这样一来，机器人就有了一套随时可查的环境记忆，人们问起相关问题时，它便从中找答案。

不过，机器人的摄像头不是每次都能拍到理想画面。远处的物体可能只占几个像素，近处的又可能被挡住；光线、拍摄角度，还有移动中产生的模糊，都会干扰模型的判断。屋顶上的烟囱被认成松鼠，就是研究团队拿出来的一个例子。

MIT 研究生、论文共同第一作者 Harry Zhang 说，要是没办法修正，那些记错的内容就会一直留在那里，机器人接着往前走也甩不掉，后面的应用也会被牵连。

为了处理这个问题，研究团队在 DAAAM 基础上加了一套不确定性评估机制：模型给物体生成描述之后，系统还要再判断这条描述靠不靠得住。

判断的依据来自机器人一路拍下的画面。同一个物体常常出现在多帧图像里，拍摄距离和角度虽然不同，但这些画面都能为识别提供信息。要是模型对同一物体在不同画面里给出的描述差得很远，就说明系统可能还没真正看清它。

在 UQ-DAAAM 中，系统会把两方面的信息合在一起看：一是模型生成描述时的内部置信度信号，二是同一物体在不同视角下的描述是否一致。研究人员据此给每个物体算出一个不确定性分数。分数超过预设阈值，就说明系统对这个物体的判断还不够稳，得再找线索。

比方说，同一个物体在不同画面里，一会儿被说成垃圾桶，一会儿又被说成花盆，这就说明模型对它的理解可能分歧不小。就算不同画面给出的描述差不多，只要模型生成的文字本身不够连贯，系统也会把它算进不确定性评估里。这些信息合起来看，才更容易判断一条记忆值不值得信。

MIT 航空航天系副教授卢卡·卡尔洛内（Luca Carlone）是论文资深作者，他的看法是：机器人得清楚自己哪些信息还拿不准，这项技术要想安全落地，这一步绕不过去。

从已有画面中寻找更多线索

发现一条记忆可能不可靠，接下来怎么办？

UQ-DAAAM 会回到机器人已经拍下的画面里，给这个物体挑更合适的观察视角。物体有没有被挡住、在画面中占多大面积，都是系统要考虑的因素；它优先选更清晰、可见度更高的画面，再让视觉语言模型照着这些画面生成补充描述。

那根最初被误认成松鼠的烟囱，后面的画面给出了更清楚的观察角度。系统把多次观察合在一起，最终把它描述为“一个深灰色的圆柱形烟囱，顶部略微收窄，表面光滑”。

机器人一路移动，可能拍下大量图像，要是每张都重新交给模型处理，计算开销会很大。所以这套系统先按已有的视角质量评分，挑出可能有用的画面，再做补充识别。研究人员还给了理论分析：在特定假设成立的条件下，质量更高的候选视角更有可能降低系统对物体的不确定性。这样一来，系统不必对每个候选画面都重新调用视觉语言模型去试，计算开销就降下来了。

拿到更多观察结果后，系统还得把新旧信息整合成一条能保存下来的描述。为此，研究团队引入大语言模型（LLM），把不同视角下的描述融到一起。

新增描述要是跟最初的描述冲突，系统会优先考虑补充观察后得到的信息；已有信息仍不足以消除分歧时，也可以保留不同的可能性。比如一个物体究竟是白色还是灰色说不准，系统可以留着“白色或灰色”的说法，不必硬给一个唯一答案。同时，大语言模型也受约束，只能使用已有描述中出现的信息，不能自己添上未经观察证实的细节。

更新后的描述会存进记忆，供机器人之后查询。这样，人们再问起屋顶上的物体时，系统参考的就是补充观察之后的信息，而不是只靠最初那张模糊的画面。

研究团队用户外场景数据搭建机器人记忆，并以 OC-NaVQA 基准检验机器人对物体、位置和时间信息的理解。测试涉及 7 段场景序列，共处理 98,866 帧画面。

描述性问题上，原有 DAAAM 系统准确率为 71.1%；引入不确定性评估和补充识别之后，UQ-DAAAM 升到 76.1%，高出 5 个百分点。平均位置误差从 41.75 米降到 37.84 米，平均时间误差则从 1.792 分钟缩到 1.589 分钟，这是另外两项指标上的变化。

补充识别的次数也被研究人员做了限制，免得系统没完没了地调用模型。主要实验中，每个被选中的不确定物体最多只增加两个观察视角。

在这种情况下，92.3% 原先被判为不确定的物体，补看之后不确定性分数落到了设定阈值以下。随机挑选补充视角的做法，同一比例只有 5.6%；只按原有视角质量筛选的办法，则是 34.2%。

但 92.3% 并不等于 92.3% 的错误都被纠正了。研究团队的评估指标显示，这些物体补看后系统给出的描述更稳定了，可不确定性下降未必说明识别对了。论文里就有一个失败案例：画面虽然更清晰，机器人还是把自行车停车架认成了电话亭。只要视觉语言模型从多个角度都把同一物体认错，系统照样可能留下一条错误却显得一致的记忆。

眼下 UQ-DAAAM 只能从机器人已经拍下的画面里找补充视角。手头画面都不够清楚时，机器人能不能自己回到原处再看一眼？研究团队正在往这个方向摸索。

参考链接：

1.https://news.mit.edu/2026/clearing-up-robot-fuzzy-memory-1105

他们后续想把这套方法用到能移动、能操作物体的机器人身上，让机器人主动去找环境中不确定性偏高的区域，重新观察、完善记忆。不确定性量化方法用于预测机器人所处环境未来的变化，也是团队在探索的题目。

注：封面/首图由 AI 辅助生成