Segmentação Universal em Granularidade Arbitrária com Instrução em Linguagem

Este artigo tem como objetivo alcançar uma segmentação universal em nível semântico arbitrário. Apesar do progresso significativo nos últimos anos, as abordagens de segmentação especializadas estão limitadas a tarefas e distribuições de dados específicas. Re-treinar um novo modelo para adaptação a novos cenários ou configurações exige um custo computacional e de tempo elevado, o que aumenta a demanda por um modelo de segmentação versátil e universal que possa atender a várias granularidades. Embora algumas tentativas tenham sido feitas para unificar diferentes tarefas de segmentação ou generalizar para vários cenários, limitações na definição de paradigmas e espaços de entrada-saída dificultam a compreensão precisa do conteúdo em granularidade arbitrária. Para isso, apresentamos o UniLSeg, um modelo de segmentação universal que pode realizar segmentação em qualquer nível semântico com a orientação de instruções em linguagem. Para treinar o UniLSeg, reorganizamos um grupo de tarefas de distribuições diversas originais em um formato de dados unificado, onde imagens com textos descrevendo os alvos de segmentação são a entrada e as máscaras correspondentes são a saída. Combinado com um motor de anotação automática para utilizar numerosos dados não rotulados, o UniLSeg alcança excelente desempenho em várias tarefas e configurações, superando modelos de segmentação especialistas e unificados.