Meta Segment Anything：可提示的图像掩膜与 SA-1B 数据集

Meta 的 Segment Anything 项目旨在让图像分割更灵活地适用于多种图像。在这期 2023 年 4 月的介绍中，我查看研究并试用演示。分割模型选择的是图像区域，这与自动为场景中的每个对象命名或理解它们不同。

Meta 的示例涵盖从水下生物到企鹅和厨房物品等不同场景，用掩膜突出显示区域。潜在应用包括在图像编辑中选择人或背景区域。这些只是演示，不能证明每张图像中的每个对象都能正确分割。

分割确定哪些像素属于选定的对象或区域。传统上，专用系统需要特定任务的专业知识和标注数据。科学图像与照片编辑是可能的应用领域，但医疗示例只是应用设想：演示没有验证 SAM 可用于诊断或临床决策。

Meta 发布了 Segment Anything 研究和 SA-1B 数据集。论文报告，约 1,100 万张获得许可的图像上有超过十亿个掩膜，这些数据通过模型辅助的数据引擎收集。数据集规模令人印象深刻，但不能消除错误、分布差异或评估具体用途的需要。

我最初说没有看到 GitHub 仓库或训练说明。Meta 也发布了 Segment Anything 仓库，包含推理代码、模型权重和示例；这与提供完整复现原始训练流程的方法不同。代码、权重和数据集各有适用条款。

我展示一个视频示例，它根据观看者的视线选择场景的一部分。分割可以为更大的系统提供视觉区域，但本身不能让语言模型完整理解视觉内容，也不能确定对象名称。组合这些能力需要额外组件。

在蔬菜框选示例中，用户可以点击一个点选择对象，添加或排除点以细化选择，或者画一个边界框。提示存在歧义时，SAM 可以返回多个合理掩膜。用户选择的是区域，而不是获得每种蔬菜经过验证的标签。

系统也可以自动生成许多候选掩膜。Meta 描述了预先计算图像嵌入后的快速交互式预测，因此提示响应与初始图像处理是工作流程中的不同部分。自动掩膜可能重叠、遗漏对象或包含不需要的区域。

我查看 Meta 将 SA-1B 与 Open Images V5 等早期数据集进行的比较。图表展示了该比较中规模大得多的图像与掩膜集合。掩膜是像素级区域，掩膜更多本身并不能证明模型在每个目标领域都表现更好。

论文展示了拥挤街景、农产品陈列和其他复杂图像中的密集掩膜示例。许多独立区域都被勾勒出来，展示了标注的广度。这些视觉示例经过挑选，并非对准确性的全面衡量。

Meta 通过项目页面提供数据集访问，但须遵守其条款。接着我打开网页演示，选择一张城市和桥梁的照片。鼠标悬停时可以预览建筑物、桥梁部分及其他可见结构等区域。

我点击添加掩膜，并使用控件移除区域。Everything 选项生成一组候选区域，抠图界面显示各个掩膜。我也可以画框选择区域；当边界或对象有歧义时，输出仍需要检查。

最后，我上传一张花卉照片并尝试自动选择。演示为场景中的花朵和背景等部分生成掩膜。我认为它可能用于照片编辑和视觉工作流程，并邀请观众探索其他应用，同时承认结果取决于图像和任务。