MIT提出UQ-DAAAM：给机器人时空记忆加不确定性评分

机器人正从短时、单一任务转向开放环境里的长时程自主操作，这就得有一套能跨时间、跨视角存住物体及其空间关系的长期记忆，导航、找东西、时空问答这些任务都靠它撑着。

这几年，用视觉语言模型（VLM）做场景描述，成了机器人搭语义记忆的一条新路子。可 VLM 的输出常常带噪声，换个观测视角还可能语义对不上——物体离得远、被挡住，或者光照复杂的时候，VLM 会写出一段看着特别确定、实际上把物体属性说错的文本。拿 DAAAM 这类记忆系统来说，万一选中的视角质量差，最后形成的记忆条目就可能夹着错误信息，系统自己还发现不了。

针对这个问题，来自 MIT 的研究团队把不确定性评分引入先进的空间语义记忆系统，命名为 UQ-DAAAM。在固定查询预算的约束下，UQ-DAAAM 用这个评分主动优化不确定性较高的对象：筛选高质量视角获取新描述，再融合多视角生成的描述，形成统一的对象描述。

实验结果显示，不确定性量化能提升具身智能 4D 记忆系统的可靠性和有效性。在 OC-NaVQA 基准测试中，跟基线方法比，UQ-DAAAM 明显压低了不确定性，时空问答的表现也更好。

研究亮点：

相关成果以「Remember with Confidence: Uncertainty Quantification for Spatio-temporal Memory with Probabilistic Guarantees」为题，预印本已发在 arXiv 上。

* 对象级不确定性评分方法：面向多视角图像描述，建立对象级语义不确定性度量指标

* 预算约束下的主动优化与融合策略：额外 VLM 查询预算有限时，优先处理不确定性较高的对象，并融合多视角描述。

论文地址：
https://hyper.ai/papers/2606.08277

* 视角选择策略的概率保证：从理论上把 DAAAM 视角质量评估方法与单步不确定性降低挂钩，并推出相应的闭式更新公式

数据预处理、场景重建、分割与跟踪

数据集与预处理

研究团队在 CODa 户外驾驶数据集上检验 UQ-DAAAM 的时空问答表现。该数据集给出 30 Hz 的双目图像、激光雷达（LiDAR）投影生成的深度图，还有全局一致的位姿信息。所有实验只用前置摄像头（cam0）采集的图像，先做中心裁剪再调尺寸，最终分辨率为 480×640 像素。深度数据取自 3D 原始估计激光雷达投影，经过滤波，只留深度范围在 [0.05, 20.0] 米之间的数据。视频帧按 10 Hz 处理，跟传感器的数据发布频率一致。

场景重建

实时 3D 场景图构建用的是 Khronos。TSDF（截断符号距离场）的体素尺寸设为 0.2 米，截断距离设为 0.6 米。

物体片段（Object Fragments）提取时的参数设定是：最小体积0.005立方米、最大体积50立方米；每个片段至少被观测到8次，且分配置信度不能低于0.5。

可通行区域（Traversability Places）的宽度范围定在0.4至2.0米，同时开启向地面平面的标签投影。

分割与跟踪

开放词汇实例分割由FastSAM完成，并编译成TensorRT引擎运行，输入图像分辨率为480×640像素，分割掩膜的最小面积设为400像素。

跟踪环节用的是ByteTrack，外观特征匹配则依靠基于CLIP的外观重识别模型（ReID），该模型同样跑在TensorRT引擎上。跟踪参数上，新轨迹（new track）的置信度阈值设为0.6，轨迹缓存长度（track buffer）设为30帧。一条物体轨迹要累积至少8次观测，才会进入语义标注阶段。

UQ-DAAAM框架：从不确定性识别到主动观测与语义融合

这项研究以DAAAM为基础，后者能依据RGB-D数据流实时构建4D场景图。UQ-DAAAM的整体框架如下图所示，构建过程分为不确定性量化、主动视角选择和多视角描述聚合三个主要环节：

UQ-DAAAM整体框架

① 不确定性量化（Uncertainty Quantification）

为了量化以物体为中心的语义不确定性，研究人员把体积语义度量（Volumetric Semantic Measurement）方法引入DAAAM的多视角机器人记忆构建场景。

在本研究的场景里，每个物体都会从多个选定视角被观测，每个视角由VLM生成一段自然语言描述。不同视角的描述在语义上对不上，或者单条描述自身前后不连贯，系统的不确定性都应当随之升高。

所以该研究设计的计算方法同时纳入两个方面：跨视角语义离散程度（Cross-view Semantic Scatter）和单视角描述的不连贯性（Per-view Incoherence）。视角之间的语义方向差得越远，或者单条描述越不连贯，算出的不确定性一般就越高。系统由此不再只看某一条描述的置信程度，而是把多视角信息之间的一致性、单条描述自身的可靠程度一并纳入考察。

② 主动视角选择（Active View Selection）

初始不确定性评估完成后，系统会把对象级不确定性与预设阈值做比较。某个物体的不确定性高过阈值，说明当前记忆里的语义解释仍有较大歧义，需要补充观测证据。这时系统不会把额外查询预算平摊给所有物体，而是先处理不确定性高的那些对象。

从理论上看，为物体挑选额外视角可以建模成贝叶斯最优实验设计（BOED）问题：每个候选视角相当于一次实验，物体的潜在语义状态是待推断对象，新视角下视觉语言模型生成的描述则是实验结果。理想情况下，系统应当挑那个能把预期不确定性压得最低的视角。

③ 多视角描述聚合（Multi-view Descriptions Aggregation）

按不确定性完成视角选择后，每个物体都会关联一组来自不同视角的文本描述。研究人员用一个受约束、基于大语言模型（LLM）的聚合步骤，把这些描述融成一条统一的物体描述。

具体做法是，系统按描述获取的阶段排序——初始视角生成的描述在前，主动优化阶段拿到的描述在后。遇到不同描述之间有冲突，指示LLM优先采纳后续获取的描述，也就是优化阶段生成的那些。如果分歧只存在于初始视角的描述之间，融合后的描述会用审慎的措辞把不同可能性都保留下来，而不是急着消除歧义。研究还对LLM加了进一步约束：融合结果只能使用至少一条源描述里已经包含的信息，以免模型编出幻觉信息。

UQ-DAAAM能够取得更好的时空问答性能

研究从下游时空问答表现、不确定性降低效果、模块消融和运行效率等多个方面，对UQ-DAAAM进行了评估。

① OC-NaVQA任务评估

在OC-NaVQA任务中，研究拿UQ-DAAAM与原始DAAAM以及多种主动优化、不确定性量化基线做对比。DAAAM-RR是随机分配额外视角查询预算；DAAAM-QR按原始视角质量评分，把预算分给质量偏低的物体；此外还比较了基于邻域一致性、下一个Token对数似然、熵和证据评分等不同不确定性信号构建的方法。

下表的结果显示，UQ-DAAAM在三项评估指标上都超过了其他基线方法，问题准确率和位置误差两方面的提升最为明显。这说明，带不确定性感知的主动优化能把固定的语义查询预算用得更有效，从而抬高记忆质量。

OC-NaVQA基准测试结果，所有模型均使用GPT-5-mini

② 不确定性降低效果（Uncertainty Reduction）评估

主动优化到底有没有把对象级语义不确定性压下去，研究团队也做了直接检验，不只看下游任务成绩。他们用的核心指标叫不确定性降低率（URR），算法是：最初被判为不确定、经过主动优化后不确定性掉到阈值以下的物体数，除以一开始不确定的物体总数。

下图给出的不确定性降低结果显示，UQ-DAAAM 相比两种不依赖不确定性的主动优化基线优势明显。主动优化预算固定为 (B=2) 时，UQ-DAAAM 的 URR 为 92.3%；按视角质量做优化的 DAAAM-QR 是 34.2%，随机优化的 DAAAM-RR 只有 5.6%。另外，经 UQ-DAAAM 主动优化后，不确定性分布明显向左移动，也就是说更多物体实现了幅度更大、也更稳定的不确定性下降。

不同主动优化策略的不确定性降低效果对比

这些结果说明，论文提出的不确定性感知主动优化方法在优化效率上要高出一截。

③ 消融实验（Ablations）

团队还用几组消融实验拆解 UQ-DAAAM 的性能来源。先看预算：单个物体的额外优化预算从 (B=1) 加到 (B=3)，不确定性降低效果一路变好，但增量越来越小。如下图，多数收益在 (B=2) 时就已经拿到；下游 OC-NaVQA 的表现也是同样的走势。换句话说，少量额外视角往往就够消解大多数物体的语义歧义。

不同主动优化预算下的不确定性降低效果对比

再看优化对象怎么挑。完整的不确定性指标胜过两种简化方案——只算跨视角描述离散程度，或者不考虑单视角不连贯性权重，这表明把跨视角语义分歧和单条描述质量一起纳入，能给出更有效的不确定性判断。优化视角的选择同样有讲究：随机选会明显拖低系统表现；按物体观测方向选和按视角质量评分选，两者表现接近；质量加权评分则能进一步筛出候选视角。

多视角描述融合实验显示，融合策略也左右最终记忆质量。只用单条最佳描述、只融合初始描述或只融合优化阶段描述，以及不设冲突处理规则的普通 LLM 融合，表现都不如论文提出的受约束、阶段感知融合方法。这说明主动多拿观测只是一半，能不能分清不同阶段的信息、处理好互相冲突的描述，同样决定新增证据能否变成可靠记忆。

实验还比较了对象级不确定性分布取不同分位数时的阈值设定。把阈值由第 10 百分位数提到第 20 百分位数，性能提升显著；继续上调至第 30 百分位数，效果还能再进一步；但提到第 40 百分位数后，多出来的收益就不大了。据此研究人员认为，默认阈值在语义查询开销与下游任务回报之间的取舍算得上合适。

结语

UQ-DAAAM 给机器人长期时空记忆提供了一条不确定性感知的路子：视觉语言模型生成的描述不再被直接当成可靠事实，系统靠跨视角语义差异和单视角描述质量找出潜在歧义，再用主动观测补证据，最后通过受约束的描述融合形成更稳定的物体记忆。研究人员希望未来用 UQ-DAAAM 指导不同类型的机器人，比如移动机器人和机械臂，并把他们的不确定性量化技术用到其他领域。

参考文献：

https://arxiv.org/pdf/2606.08277
https://news.mit.edu/index%2ephp/2026/clearing-up-robot-fuzzy-memory-1105