Dos Pixels aos Objetos: Uma Abordagem Hierárquica para Segmentação de Partes e Objetos Usando Agregação Local e Global

Neste artigo, introduzimos um modelo baseado em transformador hierárquico projetado para tarefas sofisticadas de segmentação de imagens, efetivamente conectando a granularidade da segmentação de partes com o escopo abrangente da segmentação de objetos. No coração de nossa abordagem está uma estratégia de representação em múltiplos níveis, que avança sistematicamente de pixels individuais para superpixels, e, finalmente, para formações de grupos coesos. Esta arquitetura é sustentada por duas estratégias de agregação fundamentais: agregação local e agregação global. A agregação local é empregada para formar superpixels, aproveitando a redundância inerente dos dados da imagem para produzir segmentos intimamente alinhados com partes específicas do objeto, guiada por supervisão a nível de objeto. Em contraste, a agregação global interliga esses superpixels, organizando-os em grupos maiores que se correlacionam com objetos inteiros e beneficiam da supervisão a nível de parte. Esta estrutura de agregação dupla garante uma adaptação versátil a diferentes entradas de supervisão, mantendo a eficiência computacional. Nossa metodologia melhora notavelmente o equilíbrio entre adaptabilidade através de diferentes modalidades de supervisão e gerenciabilidade computacional, culminando em uma melhoria significativa no desempenho de segmentação. Quando testado no conjunto de dados PartImageNet, nosso modelo alcança um aumento substancial, superando o estado da arte anterior em 2,8% e 0,8% nas pontuações de mIoU para segmentação de partes e objetos, respectivamente. Da mesma forma, no conjunto de dados Pascal Part, registra melhorias de desempenho de 1,5% e 2,0% para segmentação de partes e objetos, respectivamente.