Pseudo-RIS : Génération de Pseudo-supervision Distinctive pour la Segmentation d'Image Référente

Nous proposons un nouveau cadre qui génère automatiquement des masques de segmentation de haute qualité avec leurs expressions référentes comme pseudo-supervisions pour la segmentation d'image référente (RIS). Ces pseudo-supervisions permettent l'entraînement de n'importe quelle méthode RIS supervisée sans le coût d'annotation manuelle. Pour cela, nous intégrons des modèles fondamentaux de segmentation et de description d'image existants, en tirant parti de leurs larges capacités de généralisation. Cependant, l'intégration naïve de ces modèles peut générer des expressions non distinctives qui ne réfèrent pas de manière distincte aux masques cibles. Pour relever ce défi, nous proposons des stratégies en deux volets qui génèrent des légendes distinctives : 1) 'échantillonnage de légendes distinctives', une nouvelle méthode de décodage pour le modèle de légendage, afin de générer plusieurs candidats d'expressions avec des mots détaillés axés sur la cible. 2) 'filtrage de texte basé sur la distinctivité' pour valider plus avant les candidats et filtrer ceux ayant un faible niveau de distinctivité. Ces deux stratégies garantissent que les supervisions textuelles générées peuvent distinguer la cible des autres objets, les rendant appropriées pour les annotations RIS. Notre méthode surpasse de manière significative les méthodes SoTA faibles et zéro-shot sur les ensembles de données de référence RIS. Elle dépasse également les méthodes entièrement supervisées dans des domaines non vus, prouvant sa capacité à relever le défi du monde ouvert dans le cadre de la RIS. De plus, l'intégration de notre méthode avec des annotations humaines permet d'obtenir des améliorations supplémentaires, soulignant son potentiel dans les applications d'apprentissage semi-supervisé.