二维到三维迁移
以多视图图像为中间载体,把图像分割基础模型的二维分割结果映射到三维表示上,让三维实例划分不必完全依赖三维标注数据。
拖动滑块完成拼图,通过后发送验证码
独立第三方 AI 评测平台 · 只用实测数据
SAM-Graph 是一种面向三维场景的实例分割方法,思路是把图像分割基础模型 SAM 的二维能力,借助多视图图像与图神经网络组织成三维实例。它主要解决点云或三维重建结果中「哪些点属于同一个物体」的划分问题,适合机器人、自动驾驶感知、三维重建等需要理解场景物体构成的方向。它更接近一套研究代码与算法方案,而不是开箱即用的在线工具,使用前通常需要自行准备多视图数据、配置环境并训练或推理,对使用者的动手能力有一定要求。
SAM-Graph 属于三维实例分割方向的研究成果,服务于需要从三维场景中区分出一个个独立物体的任务。它把二维图像分割基础模型 SAM 在同名任务上的能力,通过多视图图像作为桥梁迁移到三维空间,并用图神经网络建模不同视图、不同区域之间的关联,从而把属于同一物体的部分聚合起来。
它的典型输入是围绕同一场景包括的多视图图像,以及与之对应的三维表示(例如点云或重建网格),输出是带实例标签的三维结果。相比直接在三维数据上做分割,这条路线希望借助成熟的二维分割模型减少对三维标注的依赖。
实际使用中,普通读者更可能把它当成一个算法参考来了解三维实例分割的做法;做研究或工程落地的开发者,则需要自行准备数据、搭建环境、调整网络与推理流程,才能在自己的场景上跑通。它不提供面向大众的图形化在线服务。
以多视图图像为中间载体,把图像分割基础模型的二维分割结果映射到三维表示上,让三维实例划分不必完全依赖三维标注数据。
用图结构建模视图之间、区域之间的关联,通过节点与边的信息传递把属于同一物体的碎片合并成完整实例,缓解单视图分割不完整的问题。
同时利用多个视角的图像信息,在视角重叠区域互相校验,减少遮挡与视角缺失导致的实例断裂,提升三维实例的完整性。
面向整个三维场景做实例级划分,输出每个物体独立的三维范围,可用于下游的物体定位。
以算法与研究实现的形式提供,需要使用者自行准备多视图数据与三维表示,并按需调整训练和推理流程,不是开箱即用的成品应用。
课题涉及三维实例分割、需要对比不同技术路线时,可以把它作为二维引导三维的代表做法来研究和复现。
需要让机器人在场景中区分出可操作物体时,可以借鉴其多视图加图聚合的思路,但要自己接入传感器数据并做工程化改造。
重建结果需要按物体切分以便后续编辑时可用,但要求输入是带位姿的多视图图像,纯点云数据无法直接套用。
它没有面向普通用户的图形界面,需要自己配置环境、准备数据和运行代码,不具备编程与深度学习基础时上手成本很高。
更接近一套算法与研究实现。它给出的是从多视图图像出发、借助二维分割模型与图神经网络得到三维实例的方法和代码,需要自己配置运行环境和准备数据,而不是下载后打开界面就能用的成品软件。
核心是围绕同一场景包括的多视图图像,并且这些图像要能配准到同一坐标系,还要有与之对应的三维表示作为分割对象。只有单张图片或只有点云而没有对应视图,这条路线就跑不起来。
直接做点云分割通常需要大量带实例标签的三维数据;SAM-Graph 的思路是先用成熟的二维分割模型拿到图像层面的分割结果,再通过多视图关联把结果抬到三维,从而把一部分负担转移给二维模型。代价是流程更长,对视图质量和位姿精度更敏感。
一般是输入侧:视图之间位姿不准、重叠不足,或者三维表示与图像对不齐,都会让实例被拆散或错误合并。其次才是合并阈值这类参数。建议先确认输入对齐质量,再花时间调模型。
有一定要求。需要能搭建深度学习运行环境、处理多视图与三维数据,并读懂训练和推理脚本以便按自己的数据做调整。如果团队里没有熟悉三维视觉与工程实现的人,落地周期会比较长。
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| SAM-Graph本工具 | 4.2 | 未标价 | 二维到三维迁移;图神经网络聚合;多视图融合;场景级实例分割 | — |
| GenSAM | — | 未标价 | 一种用于迷彩目标分割的通用文本提示方法 | — |
| Open-Vocabulary SAM | — | 未标价 | 交互式分割和识别模型 | — |
| SAM 2 | — | 未标价 | 下一代视频和图像实时对象分割模型 | — |
| SA-V Dataset | — | 未标价 | 用于训练通用目标分割模型的视频数据集 | — |
| Pose Anything | — | 未标价 | 基于图形的通用姿势估计方法 | Web |