Key points are not available for this paper at this time.
La recherche de personne basée sur du texte (TBPS) vise à récupérer une personne cible à partir d'une galerie d'images avec une requête textuelle descriptive. Résoudre une tâche de récupération croisée modalité aussi fine est difficile, ce qui est encore aggravé par le manque de jeux de données à grande échelle. Dans cet article, nous présentons un cadre avec deux composants novateurs pour traiter les problèmes posés par des données limitées. Premièrement, pour tirer pleinement parti des petits jeux de données de référence existants pour un apprentissage de caractéristiques plus discriminant, nous introduisons un cadre d'apprentissage contrastif de moment croisé pour enrichir les données d'entraînement d'un mini-batch donné. Deuxièmement, nous proposons de transférer les connaissances acquises à partir de jeux de données larges et grossiers existants contenant des paires image-texte provenant de domaines de problèmes radicalement différents pour compenser le manque de données d'entraînement TBPS. Une méthode d'apprentissage par transfert est conçue de manière à ce que des informations utiles puissent être transférées malgré l'important écart entre les domaines. Armée de ces composants, notre méthode atteint de nouveaux sommets sur le jeu de données CUHK-PEDES avec des améliorations significatives par rapport à l'art antérieur en termes de Rang-1 et mAP. Notre code est disponible à https://github.com/BrandonHanx/TextReID.
Xiao et al. (Mer,) ont étudié cette question.