Segmentation Universelle à Granularité Arbitraire avec Instruction Linguistique

Cet article vise à réaliser une segmentation universelle à un niveau sémantique arbitraire. Malgré des progrès significatifs ces dernières années, les approches de segmentation spécialisées sont limitées à des tâches et des distributions de données spécifiques. Retrainer un nouveau modèle pour l'adapter à de nouveaux scénarios ou paramètres nécessite des ressources computationnelles coûteuses et du temps, ce qui augmente la demande pour un modèle de segmentation polyvalent et universel capable de répondre à différentes granularités. Bien que certaines tentatives aient été faites pour unifier différentes tâches de segmentation ou généraliser à divers scénarios, les limitations dans la définition des paradigmes et des espaces d'entrée-sortie rendent difficile leur compréhension précise du contenu à granularité arbitraire. À cet égard, nous présentons UniLSeg, un modèle de segmentation universel capable d'effectuer des segmentations à n'importe quel niveau sémantique avec l'aide d'instructions linguistiques. Pour entraîner UniLSeg, nous réorganisons un ensemble de tâches provenant de différentes distributions originales en un format de données unifié, où les images avec des textes décrivant les cibles de segmentation servent d'entrée et les masques correspondants en sortie. Couplé avec un moteur d'annotation automatique pour utiliser de nombreuses données non étiquetées, UniLSeg obtient d'excellentes performances sur diverses tâches et paramètres, dépassant à la fois les modèles de segmentation spécialisés et unifiés.