CDTrans : Transformateur interdomaines pour l'adaptation de domaine non supervisée

L'adaptation de domaine non supervisée (UDA) vise à transférer les connaissances acquises d'un domaine source étiqueté vers un domaine cible non étiqueté différent. La plupart des méthodes UDA existantes se concentrent sur l'apprentissage de représentations de caractéristiques invariantes au domaine, que ce soit au niveau du domaine ou au niveau de la catégorie, en utilisant des cadres basés sur des réseaux de neurones convolutionnels (CNN). Un problème fondamental pour l'UDA basé sur le niveau de catégorie est la production de pseudo-étiquettes pour les échantillons dans le domaine cible, qui sont généralement trop bruitées pour un alignement de domaine précis, compromettant inévitablement la performance de l'UDA. Avec le succès du Transformateur dans diverses tâches, nous constatons que l'attention croisée dans le Transformateur est robuste face aux paires d'entrées bruitées pour un meilleur alignement des caractéristiques, ainsi dans cet article, le Transformateur est adopté pour la tâche UDA difficile. Plus précisément, pour générer des paires d'entrée précises, nous concevons un algorithme d'étiquetage conscient du centre en deux voies pour produire des pseudo-étiquettes pour les échantillons cibles. Avec les pseudo-étiquettes, un cadre de transformateur triple à partage de poids est proposé pour appliquer l'auto-attention et l'attention croisée pour l'apprentissage des caractéristiques source/cible et l'alignement du domaine source-cible, respectivement. Une telle conception impose explicitement au cadre d'apprendre simultanément des représentations spécifiques au domaine et invariantes au domaine. La méthode proposée est baptisée CDTrans (transformateur interdomaines), et elle constitue l'une des premières tentatives de résoudre des tâches UDA avec une solution purement basée sur le transformateur. Les expériences montrent que notre méthode proposée atteint la meilleure performance sur des ensembles de données UDA publics, par exemple VisDA-2017 et DomainNet. Le code et les modèles sont disponibles sur https://github.com/CDTrans/CDTrans.