免标定重建
在没有相机内参、外参，也没有视点位姿先验的情况下，对任意图片集合做密集三维重建，省去传统流程中繁琐且难以获得的相机参数估计环节。
价格官网未公开价格信息
平台Web
归类3D 与建模
收录2024-06-17
复核2024-06-17
编辑评分
4.5 / 5
★★★★☆
DUSt3R编辑总结
DUSt3R 是 NAVER Labs 欧洲团队提出的三维重建方法，相关论文发表于 2024 年 6 月的 CVPR（Seattle，USA，17-21 June, 2024），作者为 Shuzhe Wang、Vincent Leroy、Yohann Cabon、Boris Chidlovskii、Jérome Revaud。它把成对重建问题改写成点图（pointmaps）回归，从而不再依赖相机的内参和外参，统一了单目与双目重建；当输入超过两张图片时，它用一套全局对齐策略把所有成对点图放到同一个参考坐标系里。方法基于标准 Transformer 编码器与解码器，可直接输出场景三维模型与深度信息，也能从中恢复像素匹配和相机位姿。局限在于：它是一篇论文成果，官网未公开可直接使用的在线产品入口与价格。
DUSt3R是什么？
DUSt3R 由 NAVER Labs 欧洲团队提出，论文发表于 2024 年 6 月的 IEEE/CVF Computer Vision and Pattern Recognition Conference（CVPR），会议地点 Seattle，USA，时间 17-21 June, 2024，作者为 Shuzhe Wang、Vincent Leroy、Yohann Cabon、Boris Chidlovskii、Jérome Revaud。它面向的是从任意图片集合做密集、无约束的立体三维重建，也就是所谓的 in the wild 多视图立体（MVS）。
传统多视图立体方法通常要先估计相机参数（内参和外参），再据此在三维空间中对同名像素做三角化。DUSt3R 取的是相反路线：在没有相机标定信息、也没有视点位姿先验的情况下，把成对的重建问题建模成点图回归，放宽了常规投影相机模型的硬约束。论文指出，这种写法可以平滑地统一单目与双目重建两种情形；当提供两张以上图片时，它还提出一套简单但有效的全局对齐策略，把所有成对点图统一表达在同一个参考坐标系中。
对普通用户来说，它更像是一套方法论和代码，而不是一个开箱即用的在线工具：官网公开的是论文、代码、Talk 与 Slides 入口。对研究者与开发者来说，它可以直接给出场景三维模型和深度信息，并且能从同一套表示里恢复像素匹配、相对与绝对相机位姿，因此可被当作一个把多种三维视觉任务统一起来的基础组件来用。团队的研究方向还包括让机器人感知环境结构、物体与人，从而理解并导航其所在的三维环境。
DUSt3R核心功能
点图回归范式
把成对重建问题改写为点图（pointmaps）回归，放宽常规投影相机模型的硬约束，让重建不再依赖三角化对应像素这一传统核心步骤。
单双目统一
论文指出该表示可以平滑地统一单目与双目两种重建情形，同一套方法既能处理单张图像，也能处理成对图像，不必为两种场景分别设计流程。
多图全局对齐
当输入超过两张图片时，采用一套简单但有效的全局对齐策略，把所有成对点图表达在同一个参考坐标系中，从而得到覆盖整个场景的统一重建结果。
Transformer 骨干
网络架构基于标准 Transformer 编码器与解码器，因此可以直接利用已有的强预训练模型，论文称这是该设计带来的好处之一。
输出三维与深度
方法直接给出场景的三维模型以及深度信息，不需要额外的后处理步骤就能得到稠密的三维表示，可用于需要几何结构的后续任务。
恢复相机与匹配
在得到三维表示之后，可以从中恢复像素匹配、相对与绝对相机位姿，因此同一套输出还能服务于位姿估计与匹配等不同任务。
多任务统一
论文称在单目与多视图深度估计、相对位姿估计等任务上都取得了新的最优结果，说明该方法能把多种三维视觉任务统一到同一个框架下。
DUSt3R适合谁用？
三维重建研究者
推荐论文提供了免相机标定的新范式，并在单目与多视图深度估计、相对位姿估计上给出新的最优结果，适合作为研究与对比的基线。
计算机视觉开发者
推荐可从三维表示中恢复像素匹配以及相对和绝对相机位姿，适合把几何三维能力接入已有的视觉处理流程。
机器人感知团队
有条件涉及机器人需要感知环境结构、物体与人以便理解和导航三维环境，这类无约束重建能力与机器人视觉方向相关。
想直接出模型的设计师
不推荐官网公开的是论文、代码、Talk 与 Slides，未见面向普通用户的在线建模界面，需要自行部署或二次开发才能得到结果。
需要明确预算的采购方
不推荐官网未公开价格与授权方案，无法据此做出采购判断，需要先向官方确认具体条款。
DUSt3R优点和缺点
优点
- 无需相机内参与外参，也无需视点位姿先验
- 把成对重建写成点图回归，放宽投影相机模型约束
- 论文称该表示平滑统一单目与双目重建两类情形
- 多图输入时用全局对齐把所有成对点图统一到同一坐标系
- 基于标准 Transformer 编码器与解码器，可用强预训练模型
- 直接输出场景三维模型与深度信息
- 可从结果中恢复像素匹配以及相对和绝对相机位姿
缺点
- 官网未公开支持的语言、系统与文件格式清单
- 未公开精度以外的性能指标与处理耗时
- 非研究者需要自行处理代码与运行环境
DUSt3R常见问题
DUSt3R 要花钱吗？＋
没有出现任何收费档位或数字。论文页面提供的是论文、代码、Talk 与 Slides 入口，属于研究发布形式。如果有商业使用或授权方面的需求，需要以官方页面为准，或直接联系官方确认。
它当前的主力能力是什么？＋
按论文描述，它以点图回归的方式做密集、无约束的立体三维重建，不需要相机标定信息和视点位姿。输入两张以上图片时会用全局对齐把所有成对点图统一到同一参考坐标系；输出场景三维模型与深度信息，并能从中恢复像素匹配以及相对和绝对相机位姿。
和传统的多视图立体方法比有什么不同？＋
传统多视图立体方法要先估计相机内参和外参，再据此在三维空间中三角化对应像素，论文认为这些参数通常繁琐且难以获得。DUSt3R 不估计这些参数作为前置步骤，而是把成对重建直接改成点图回归，从而放宽了常规投影相机模型的硬约束。
支持几张图片输入？＋
论文说明该表示统一了单目与双目重建，也就是单张和成对图像都能处理；当提供两张以上的图片时，会再使用一套全局对齐策略，把所有成对点图表达在同一个参考坐标系中。未公开具体的输入数量上限。
国内可以直接使用吗？＋
未说明区域可用性，也没有提到任何访问限制或地区名单。公开入口是论文、代码、Talk 与 Slides，是否能在本地或国内环境中获取与运行，需要以官方页面和代码仓库的实际说明为准。
它和哪些其他工作相关？＋
论文包括的相关工作包括 CroCo（面向三维视觉任务的跨视图补全自监督预训练）、MFOS（无模型单次物体位姿估计）、Win-Win（从两个窗口训练高分辨率视觉 Transformer）、SACReg（面向视觉定位的场景无关坐标回归）。这些是同一团队方向相近的其他工作。
在哪里能看到论文与引用信息？＋
论文发表于 2024 年 6 月的 IEEE/CVF Computer Vision and Pattern Recognition Conference（CVPR），地点为 Seattle，USA，会期为 17-21 June, 2024，页码为 20697-20709。页面提供 Paper、Code、Talk、Slides 四个入口，方便查看原文、代码与讲稿。
DUSt3R竞品对比
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| DUSt3R本工具 | 4.5 | 官网未公开价格信息 | 免标定重建；点图回归范式；单双目统一；多图全局对齐 | Web |
| SAM 3D | — | 未标价 | 用于从单张图像进行3D 重建的人工智能工具 | — |
| AnimatableDreamer | — | 未标价 | 非刚体3D 模型的文本生成和重建框架 | — |
| LucidFusion | — | 未标价 | 3D 高斯生成技术，实现任意未摆姿势图像的3D 重建 | — |
| Sam3D | — | 未标价 | Meta 的单图3D 重建模型，具有 SAM 3分割功能 | — |
| VisFusion | — | 未标价 | 基于视频的3D 场景重建 | — |
