Les modèles génératifs peuvent-ils améliorer l'apprentissage de représentations auto-supervisées ?

L'avancement rapide de l'apprentissage auto-supervisé (SSL) a mis en évidence son potentiel à exploiter des données non étiquetées pour apprendre des représentations visuelles puissantes. Cependant, les approches SSL existantes, en particulier celles s'appuyant sur différentes vues de la même image, reposent souvent sur un ensemble limité d'augmentations de données prédéfinies. Cela limite la diversité et la qualité des transformations, ce qui conduit à des représentations sous-optimales. Dans cet article, nous introduisons un nouveau cadre qui enrichit le paradigme SSL en utilisant des modèles génératifs pour produire des augmentations d'images sémantiquement cohérentes. En conditionnant directement les modèles génératifs sur une représentation d'image source, notre méthode permet la génération d'augmentations diverses tout en maintenant la sémantique de l'image source, offrant ainsi un ensemble de données plus riche pour l'apprentissage auto-supervisé. Nos résultats expérimentaux démontrent que notre cadre améliore significativement la qualité des représentations visuelles apprises. Cette recherche montre que l'incorporation de modèles génératifs dans le flux de travail SSL ouvre de nouvelles voies pour explorer le potentiel des données visuelles non étiquetées. Ce développement ouvre la voie à des techniques d'apprentissage de représentation plus robustes et polyvalentes.