ECCV 2026 抠图一切！复旦大学提出SAM2Matting：通用图像和视频抠图

SAM2Matting: Generalized Image and Video Matting

项目主页：

https://henghuiding.com/SAM2Matting

代码仓库：

https://github.com/FudanCVL/SAM2Matting

联系邮箱：henghui.ding@gmail.com

背景与动机

在真实场景中，仅仅分割出前景和背景是远远不够的。许多目标没有清晰的二值边界：发丝、羽毛、玻璃、水滴和透明翅膀，都呈现出细碎或半透明的形态。为了满足高精度视频编辑和视觉合成的需求，模型需要进一步恢复连续的透明度，让目标从粗略的 mask 走向精细的 matte。

当高精度抠图从单张图像走向连续视频，问题变得更难。模型不仅要“抠得细”，还要“跟得准”：抠图目标可能快速运动、被遮挡、短暂消失后再次出现，也可能与自行车、滑雪杆等附属物紧密相连。模型必须能同时应对复杂追踪和精细抠图的双重挑战，缺一不可。

范式思考

视频抠图本质上同时包含两类能力：一类是高层语义追踪，决定模型能否在连续帧中始终锁定同一个目标；另一类是底层细节估计，决定抠图结果是否能保留半透明区域和极细边界。传统方法往往依赖昂贵的视频抠图数据标注，要求模型能同时应对如下的两项挑战：

然而，视频抠图数据标注成本极高、规模有限，场景也集中在人像等窄领域。仅依赖这类数据，从头训练模型难以获得开放场景的追踪能力；而用这批数据微调现成VOS tracker又容易破坏其原本稳健的跟踪表现。如下图所示，将SAM2在公开的视频抠图数据集V-HIM2K5上微调后，模型的追踪鲁棒性明显下降，其中Video-FT表示微调后的结果。

视频追踪模型在领域受限的视频抠图数据集上微调后，原有的开放场景追踪能力明显下降

为此，SAM2Matting的出发点很直接：既然tracking更擅长保持时序一致性，matting更擅长恢复精细细节，为什么不让二者各展所长、协同完成视频抠图？

核心思路：Tracker-to-Matting 设计

SAM2Matting 将视频抠图拆解为“稳定追踪”和“精细恢复”两个阶段。冻结的视频目标追踪模型（VOS tracker）首先提供稳定的目标掩码与多尺度图像特征；轻量级抠图组件再基于这些先验，定位出需要精修的关键区域，随后逐级产生高质量抠图结果，具体设计步骤如下图所示：

SAM2Matting框架:VOS tracker负责高层追踪，ROI Detector与Progressive Alpha Predictor分别定位抠图区域和实现逐级alpha精修

效果亮点：针对现实场景的超高泛化性

实验显示，SAM2Matting 在图像与视频抠图上均表现出色，其中视频抠图表现完全以zero-shot形式呈现：即使只使用图像抠图数据训练，依旧在视频抠图benchmarks，和in-the-wild视频上，取得惊艳效果：

总体结果

SAM2Matting提供了3种模型版本，均在通用视频抠图benchmarks上取得接近或刷新SOTA的性能表现。

可视化结果展示。SAM2Matting在人像发丝级细粒度抠图中展现出惊艳效果。面对快速运动、透明结构等复杂 in-the-wild 场景，SAM2Matting也能够更稳定地追踪目标并恢复精细细节。

现实高难场景

附属物抠图

在真实视频中，目标往往不是一个干净、孤立的人或物。人可能骑着自行车、拿着滑雪杆，前景旁边可能紧贴着桌子、栏杆等干扰物；tracker 的mask 也可能漏掉细小结构，或错误包含背景区域。SAM2Matting在这些情况下仍能更可靠地恢复目标 matte。

SAM2Matting 能保留并对目标附属物抠图（左，中：自行车，滑雪杆），并有效抑制背景干扰（右：书桌）

不规则区域抠图

真实场景中的精细抠图区域往往形态不规则，可能出现在发丝、叶片、透明边缘或肢体间隙中。SAM2Matting通过ROI Detector自适应定位这些关键区域，将精修集中在真正需要处理的细节上

ROI Detector 能捕捉飞扬散发、叶片、肢体间隙等传统规则方法极易忽略的抠图细节区域

交互式抠图

SAM2Matting继承了视频目标分割模型的灵活提示能力，支持点、框、掩码，文本等多种交互方式。用户只需给出简单提示，模型即可在视频中持续追踪和抠图目标，让开放场景下的视频抠图更加便捷

SAM2Matting支持包括掩码，点选，框选，涂鸦，文本指代在内的多种不同交互式抠图方案

长视频抠图

在电商直播、影视后处理等实际应用中，视频抠图往往需要处理较长的视频序列。得益于稳定的目标追踪能力，SAM2Matting能够在长视频中持续保持目标一致性，即使目标短暂消失或发生明显运动，也能稳定实现逐帧的精细抠图。

SAM2Matting在500帧长视频上，保持稳定追踪与精细抠图效果

实时级超高效率

SAM2Matting 的抠图组件轻量。在单张 NVIDIA A6000 GPU 上，SAM2.1-Tiny 版本在 1080p 视频上达到约 40 FPS，显存占用约 3.61 GB；SAM2.1-Base+ 版本也可达到约 30 FPS。与此同时，模型继承了 VOS tracker 的灵活提示能力，支持 mask、point、box 、text等多种不同提示。

SAM2Matting在不同分辨率下，相较于过去SOTA方案，都能保持更快更稳定的 FPS 和更低的显存开销