Matting de Imagem Semântica

O matting de imagem natural separa o primeiro plano do fundo em ocupação fracionada, o que pode ser causado por objetos altamente transparentes, primeiro plano complexo (por exemplo, rede ou árvore) e/ou objetos contendo detalhes muito finos (por exemplo, pelos). Embora a formulação convencional de matting possa ser aplicada a todos os casos acima, nenhum trabalho anterior tentou raciocinar sobre as causas subjacentes do matting devido a várias semânticas de primeiro plano. Mostramos como obter melhores matizes de alfa incorporando à nossa estrutura a classificação semântica das regiões de matting. Especificamente, consideramos e aprendemos 20 classes de padrões de matting e propomos estender o trimap convencional ao trimap semântico. O trimap semântico proposto pode ser obtido automaticamente através da análise da estrutura de patch dentro das regiões de trimap. Enquanto isso, aprendemos um discriminador de múltiplas classes para regularizar a previsão do alfa em nível semântico e pesos sensíveis ao conteúdo para equilibrar diferentes perdas de regularização. Experimentos em múltiplos benchmarks mostram que nosso método supera outros métodos e alcançou o desempenho mais competitivo de ponta. Finalmente, contribuímos com um Conjunto de Dados de Matting de Imagem Semântica em larga escala com cuidadosa consideração do balanceamento de dados entre diferentes classes semânticas. Código e conjunto de dados estão disponíveis em https://github.com/nowsyn/SIM.