Show HN: MultiMatte, a Promptable Image Background Removal Model
20 days ago
- MultiMatte是一个以词语为导向的背景去除模型，它保留指定的物体并移除所有其他内容。
- 它基于Meta的SAM 3构建，并使用LoRA进行微调，仅修改了模型参数的2.27%。
- MultiMatte生成具有逐像素连续不透明度的alpha遮罩，而不是二值掩码，从而改善了精细和半透明边界。
- 在DIS-VD上，MultiMatte达到了0.901的S-measure，而SAM 3为0.667；它在所有测试的分割基准上都有所提升。
- 训练使用了涵盖不同类别的19,953张图像，共14,000步，采用焦点损失和Dice损失，并且有24.8%的人工编写提示标签。
- 该模型保留了SAM 3的文本对齐能力，并在DAVIS-S和DUT-OMRON等未见过的数据集上表现出强大的泛化能力。
- 发布的适配器已合并到权重中，MultiMatte可通过NoBg库或访问usefeyn.com/multimatte获取。