交互式分割
通过点、框或已有掩码作为提示,模型返回该提示对应的目标掩码。提示可以叠加,用来表达「选这个、排除那个」,适合处理相邻或重叠的物体。
拖动滑块完成拼图,通过后发送验证码
独立第三方 AI 评测平台 · 只用实测数据
SAM 2 是 Meta 推出的分割模型,把「点哪分哪」的能力从单张图片扩展到连续视频。给它一个提示——点、框或掩码——它就能在整段视频里持续追踪并分割同一目标,无需为每一帧重复标注。它主打通用性与交互式分割,适合做视频后期、数据标注和视觉研究的人用来省掉逐帧抠图。局限在于它本质是分割工具,不负责识别目标是什么,输出结果仍需要人工检查边缘与遮挡场景。
SAM 2 是 Meta 发布的分割模型,全称 Segment Anything Model 2。它的定位是通用对象分割:用户给出提示,模型返回对应的目标掩码。与前代只能处理静态图片不同,它把视频作为一等公民,能在时间维度上保持目标的一致性。
它的工作方式是交互式的。用户在第一帧点一下目标,模型给出分割结果,随后在后续帧里自动跟随该目标;如果中途跟丢,可以补一个提示把它拉回来。这种「提示—反馈—修正」的循环,让它在处理长视频时比一次性自动分割更可控。
对不同人来说用法不同。剪辑和特效人员用它快速抠出人物或物体做替换;做视觉数据标注的团队用它生成初始掩码再人工修边;研究人员把它当作可微调的基座,接到自己的检测或追踪流程里。
通过点、框或已有掩码作为提示,模型返回该提示对应的目标掩码。提示可以叠加,用来表达「选这个、排除那个」,适合处理相邻或重叠的物体。
在第一帧指定目标后,模型会在后续帧中持续输出该目标的分割结果,保持跨帧一致性。目标被短暂遮挡后重新出现时,仍有机会继续跟随。
模型维护关于目标的历史信息,用之前帧的线索来推断当前帧的目标位置与形状。这让它不必把每一帧都当成孤立图片重新分割。
同一套模型同时处理静态图片和视频。视频可以看作一串帧,图片可以看作长度为单帧的视频,因此两类任务的接口和提示方式保持一致。
模型在没有专门训练过的物体类别和场景上也能给出分割结果,不要求用户先准备该类别的标注数据。这意味着它不绑定某几个固定类别。
提供模型权重与训练代码,研究者可以在自己的数据上微调,接入已有的检测、追踪或编辑管线,而不是只能通过网页界面使用固定功能。
输出的是逐像素的目标掩码,可直接用于抠像、背景替换、区域统计等下游任务。掩码质量依赖提示的准确度,边缘细碎处通常还需要人工修整。
需要在一段镜头里把人或物抠出来做替换、加特效。交互式提示比逐帧钢笔工具快,但遮挡和半透明边缘仍要手动收尾。
用它生成初始掩码,再让标注员修边和分类。能把纯手工勾轮廓的工作量压下来,适合做分割数据集的预标注环节。
把它当作可微调的基座,接到自己的检测、追踪或视频理解流程里,用来验证提示式分割在新场景下的表现。
模型输出的是掩码而不是成品视频,抠像之后还要自己做合成、调色和导出。期待点一下直接出成片的人会失望。
把模型权重和训练代码用于商业产品前,要先确认许可条款是否覆盖自己的用法。许可范围与商用限制需查官方说明。
视频分割的逐帧计算量偏大,在算力受限的移动设备或嵌入式环境里直接跑,帧率和功耗往往达不到实时要求。
最大的区别是视频。第一代只处理单张图片,每换一帧就要重新给提示;SAM 2 引入记忆机制,在首帧指定目标后能沿着时间轴持续输出该目标的分割结果,图片任务则继续沿用同一套提示方式。
不能。SAM 2 做的是分割,输出逐像素的目标掩码,回答的是「这块像素属于哪个目标」,而不是「这个目标是什么」。要知道类别,需要把掩码交给分类或检测模型,或者由人来判断。
它的核心形态是模型与代码,不是成品剪辑软件。要用它抠像,通常得通过研究者封装好的演示界面,或者把它接入自己的后期流程。只想一键出片的话,它本身不提供这个环节。
短暂遮挡后重新出现,模型有机会继续跟着同一目标,这是记忆机制的作用。但遮挡时间较长、目标出画再入画或场景切换时,轨迹容易断,需要在断点那一帧重新给提示把它接回来。
多数情况下可以直接用作初始结果,再人工过一遍。头发丝、透明物体边缘、快速运动造成的拖影这些位置,掩码通常会不干净,逐帧检查并挑出问题帧重跑,比直接导出更省返工时间。
逐帧分割对算力有要求,视频越长、分辨率越高,处理时间和显存占用越大。在服务器或带独立显卡的工作站上跑比较现实;想放到手机等端侧设备上做实时处理,通常需要额外的压缩或蒸馏,直接跑很难达到实时帧率。
需要以官方许可条款为准。它公开了模型权重与训练代码,但把结果用于商业产品或对外服务前,要自己确认许可是否覆盖该用法。涉及接单或产品集成时应先查清楚。
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| SAM 2本工具 | 4.3 | 未标价 | 交互式分割;视频目标追踪;记忆机制;图像与视频统一 | — |
| SA-V Dataset | — | 未标价 | 用于训练通用目标分割模型的视频数据集 | — |
| Open-Vocabulary SAM | — | 未标价 | 交互式分割和识别模型 | — |
| GLEE | — | 未标价 | 图片和视频的通用对象基础模型 | — |
| SAM-Graph | — | 未标价 | 3D 实例分割的创新方法 | — |
| Scriptmine | — | Starter 档 $9/月,可免费开始,无需信用卡 | 将 Reddit 实时对话转化为即拍即用的短视频脚本,专为内容创作者设计 | Web |