Auto-distillation pour la légende d'images à peu d'exemples

Le développement de jeux de données de légendes d'images à grande échelle est coûteux, tandis que l'abondance d'images non appariées et de corpus textuels peut potentiellement aider à réduire les efforts d'annotation manuelle. Dans cet article, nous étudions le problème de la légende d'images à peu d'exemples qui nécessite seulement une petite quantité de paires d'images et de légendes annotées. Nous proposons une méthode d'auto-distillation basée sur un ensemble qui permet aux modèles de légende d'images d'être entraînés avec des images et des légendes non appariées. L'ensemble se compose de plusieurs modèles de base entraînés avec différents échantillons de données à chaque itération. Pour apprendre à partir d'images non appariées, nous générons plusieurs pseudo-légendes avec l'ensemble et attribuons des poids différents en fonction de leurs niveaux de confiance. Pour apprendre à partir de légendes non appariées, nous proposons une méthode de génération de pseudo-caractéristiques simple mais efficace basée sur la Descente de Gradient. Les pseudo-légendes et pseudo-caractéristiques de l'ensemble sont utilisées pour entraîner les modèles de base lors de futurs itérations. La méthode proposée est générale pour différents modèles et jeux de données de légende d'images. Nos expérimentations démontrent des améliorations de performances significatives et des légendes significatives générées avec seulement 1 % des données d'entraînement appariées. Le code source est disponible à https://github.com/chenxy99/SD-FSIC.