Selbst-Destillation für Few-Shot Bildbeschriftung

Die Entwicklung von groß angelegten Datensätzen zur Bildbeschriftung ist kostspielig, während die Fülle an unpaarigen Bildern und Textkorpora potenziell helfen kann, den Aufwand für die manuelle Annotation zu reduzieren. In diesem Papier untersuchen wir das Few-Shot Bildbeschriftungsproblem, das nur eine geringe Menge an annotierten Bild-Beschriftungspaaren erfordert. Wir schlagen eine ensemble-basierte Selbst-Destillationsmethode vor, die es Bildbeschriftungsmodellen ermöglicht, mit unpaarigen Bildern und Beschriftungen trainiert zu werden. Das Ensemble besteht aus mehreren Basis-Modellen, die in jeder Iteration mit unterschiedlichen Datenproben trainiert werden. Um aus unpaarigen Bildern zu lernen, generieren wir mit dem Ensemble mehrere Pseudo-Beschriftungen und gewichten sie entsprechend ihrer Vertrauensniveaus. Um aus unpaarigen Beschriftungen zu lernen, schlagen wir eine einfache, aber effektive Methode zur Erzeugung von Pseudo-Features basierend auf Gradient Abstieg vor. Die Pseudo-Beschriftungen und Pseudo-Features aus dem Ensemble werden verwendet, um die Basis-Modelle in zukünftigen Iterationen zu trainieren. Die vorgeschlagene Methode ist allgemein für verschiedene Bildbeschriftungsmodelle und Datensätze. Unsere Experimente zeigen signifikante Leistungsverbesserungen und sinnvolle Beschriftungen, die nur mit 1% der gepaarten Trainingsdaten generiert wurden. Der Quellcode ist verfügbar unter https://github.com/chenxy99/SD-FSIC.