开放世界实体分割

我们介绍了一项新的图像分割任务，称为实体分割（Entity Segmentation，ES），旨在对图像中的所有视觉实体（物体和材料）进行分割，而无需预测它们的语义标签。通过消除对类别标签预测的需求，为该任务训练的模型可以更加专注于提高分割质量。它在许多实际应用中具有重要意义，例如图像操作和编辑，在这些应用中，分割掩膜的质量至关重要，而类别标签则不那么重要。我们首次进行研究，以探讨基于卷积中心的表示在统一方式下分割物体和材料的可行性，并表明该表示在ES的背景下非常符合要求。更具体地说，我们提出了一种类似CondInst的全卷积架构，具有两个新颖的模块，专门设计用来利用ES的无类别和非重叠要求。实验表明，为ES设计和训练的模型在分割质量方面显著优于流行的特定类别全景分割模型。此外，ES模型可以很容易地在多个数据集的组合上进行训练，无需解决数据集合并中的标签冲突，并且在一个或多个数据集上训练的ES模型可以很好地推广到其他未见领域的测试数据集。代码已发布在 https://github.com/dvlab-research/Entity。