高德ABot-Recon:不靠长程记忆,万帧级3D重建显存降60%速度快24%
阿里巴巴集团旗下高德正式发布首个无长程依赖的万帧级流式3D重建模型ABot-Recon。该模型无需长程记忆,仅凭连续12帧局部画面,即可实时稳定重建上万帧的3D场景,实现“边拍边建”。
8月28日,阿里巴巴集团旗下高德正式推出ABot-Recon。这是首个不依赖长程记忆的万帧级流式3D重建模型。它不需要靠长程记忆撑场,只拿连续12帧局部画面就能实时、稳定地把上万帧的3D场景建出来,做到"边拍边建"。在KITTI、Oxford Spires、VBR等权威评测里,ABot-Recon都拿到了误差最低的SOTA。

自动驾驶、具身智能这些技术正走向开放环境,物理AI要的不只是"看见",还得在移动中持续弄明白空间关系:自己在哪、周围有什么、下一步往哪走。商场、园区、仓库这类私域场景定位信号弱、变化又快,系统很难靠一次性建图或事后重建来应付。
眼下主流做法是用流式3D重建技术实时还原三维场景,可这条路会碰上误差累积、显存过大等一连串麻烦。传统流式3D重建为了保住长距离场景的全局一致,会在重建过程中设记忆锚点,模型得靠长程记忆不停保存、检索、融合历史信息。序列一长,速度就慢下来,精度跟着变差,显存也越吃越多。
ABot-Recon换了一条技术路线:"局部位姿预测+残差优化",专门对付长序列在精度、速度、显存上的难题。它没有沿用长程记忆锚点做记忆对齐的做法,而是只把最近12帧连续画面当作局部上下文窗口,每次仅预测当前相机坐标系下的局部点云和相邻两帧间的相对位姿。这样计算复杂度保持恒定,轨迹也能保持平滑,再靠在线组合一步步拼出完整的全局轨迹与三维场景。预测目标始终是局部的,跟序列长度无关,内存和单帧计算量也就不会随视频变长而膨胀。
局部预测难免有误差累积,ABot-Recon在预测端和训练端各设了纠偏与误差约束机制,实时把轨迹误差校准回来。
精度方面,Oxford Spires长序列基准测试中,ABot-Recon的平均轨迹误差比行业代表方法LingBot-Map低40.6%;相对旋转误差RPE-R低至0.12°,在同类流式方法里最优,较前代SOTA降了约40%。
速度方面,KITTI-02测试中ABot-Recon跑出24.45FPS的实时重建,推理速度是行业代表方法的1.24倍。平均轨迹误差低于20米的方法里,它的吞吐最高、显存最低。
显存上,ABot-Recon峰值占用只有约6.71GB,差不多是同类模型的三分之一。一张消费级显卡GTX 1080Ti就够跑,流式3D重建的使用门槛由此低了不少。
ABot-Recon只需单目RGB视频输入,不用额外深度传感器,也不需要已知相机参数,就能完成万帧级实时三维重建。测绘行业的私域建图与底图更新用得上它,具身智能、自动驾驶和3D内容生产等场景同样适用。
目前,ABot-Recon已在GitHub开源推理及评测代码和权重,魔搭社区也上线了体验专区。