Segmentation sans couture tenant compte de l'occlusion

Les images panoramiques peuvent élargir le champ de vision (FoV), la prédiction tenant compte de l'occlusion peut approfondir la compréhension de la scène, et l'adaptation de domaine peut transférer à travers les domaines de vision. Dans ce travail, nous introduisons une nouvelle tâche, la Segmentation sans couture tenant compte de l'occlusion (OASS), qui aborde simultanément ces trois défis. Pour l'évaluation de l'OASS, nous établissons un nouveau jeu de données annotées par des humains pour la Segmentation Amodale Sans Couture de Blend Panoramique, c'est-à-dire BlendPASS. De plus, nous proposons la première solution UnmaskFormer, visant à démasquer le FoV étroit, les occlusions et les écarts de domaine tout à la fois. Plus précisément, UnmaskFormer comprend les conceptions cruciales d'Attention de Démasquage (UA) et de Mix orienté Amodal (AoMix). Notre méthode atteint des performances de pointe sur le jeu de données BlendPASS, atteignant un mAPQ remarquable de 26,58 % et un mIoU de 43,66 %. Sur les jeux de données publics de segmentation sémantique panoramique, à savoir SynPASS et DensePASS, notre méthode surpasse les méthodes précédentes et obtient 45,34 % et 48,08 % en mIoU, respectivement. Le nouveau jeu de données BlendPASS et notre code source seront rendus publics à l'adresse https://github.com/yihong-97/OASS.