Exploiter les photos non étiquetées pour un SBIR fine-grained plus performant

Cet article fait progresser la littérature sur la récupération d'images basée sur des croquis fine-grained (FG-SBIR) en proposant une base solide qui dépasse les états de l'art antérieurs d'environ 11 %. Cela ne passe pas par un design compliqué, mais en abordant deux problèmes critiques auxquels la communauté est confrontée (i) la perte standard triplet en gold standard n'impose pas une géométrie de l'espace latent holistique, et (ii) il n'y a jamais assez de croquis pour entraîner un modèle de haute précision. Pour le premier point, nous proposons une modification simple à la perte standard triplet, qui impose explicitement une séparation entre les instances de photos/croquis. Pour le second point, nous proposons un nouveau module de distillation des connaissances qui peut tirer parti des données photo pour l'entraînement du modèle. Les deux modules sont ensuite intégrés dans un nouveau paradigme d'entraînement plug-and-play qui permet un entraînement plus stable. Plus précisément, pour (i), nous utilisons une perte triplet intra-modale entre croquis pour rapprocher les croquis de la même instance des autres, et une de plus entre les photos pour éloigner différentes instances de photos tout en rapprochant une version structurellement augmentée de la même photo (offrant un gain d'environ 4-6 %). Pour aborder (ii), nous pré-entraînons d'abord un enseignant sur le grand ensemble de photos non étiquetées à l'aide de la perte triplet-photo intra-modale mentionnée ci-dessus. Ensuite, nous distillons la similarité contextuelle présente parmi les instances dans l'espace d'embedding de l'enseignant à celui dans l'espace d'embedding de l'étudiant, en faisant correspondre la distribution sur les distances inter-attributs des échantillons respectifs dans les deux espaces d'embedding (fournissant un gain supplémentaire d'environ 4-5 %). En plus de surpasser les arts antérieurs de manière significative, notre modèle donne également des résultats satisfaisants sur la généralisation à de nouvelles classes. Page du projet : https://aneeshan95.github.io/SketchPVT/