Agrégation locale pour l'apprentissage non supervisé d'embeddings visuels

Les approches non supervisées de l'apprentissage dans les réseaux neuronaux suscitent un intérêt considérable pour faire progresser l'intelligence artificielle, à la fois parce qu'elles permettraient la formation de réseaux sans avoir besoin d'un grand nombre d'annotations coûteuses, et parce qu'elles seraient de meilleurs modèles du type d'apprentissage général déployé par les humains. Cependant, les réseaux non supervisés ont longtemps été à la traîne par rapport aux performances de leurs homologues supervisés, en particulier dans le domaine de la reconnaissance visuelle à grande échelle. Les développements récents dans la formation d'embeddings convolutionnels profonds pour maximiser la séparation et les objectifs de clustering non paramétriques ont montré des promesses pour combler cette lacune. Ici, nous décrivons une méthode qui entraîne une fonction d'embedding pour maximiser une métrique d'agrégation locale, amenant des instances de données similaires à se regrouper dans l'espace d'embedding, tout en permettant à des instances dissemblables de se séparer. Cette métrique d'agrégation est dynamique, permettant l'émergence de clusters souples de différentes échelles. Nous évaluons notre procédure sur plusieurs ensembles de données de reconnaissance visuelle à grande échelle, atteignant des performances de transfert non supervisé à la pointe de la technologie en reconnaissance d'objets dans ImageNet, reconnaissance de scènes dans Places 205, et détection d'objets dans PASCAL VOC.