Revisiter le paradigme d'entraînement de la légende d'image via l'optimisation directe basée sur CLIP

L'approche d'entraînement conventionnelle pour la légende d'image implique le pré-entraînement d'un réseau en utilisant le teacher forcing et un ajustement fin ultérieur avec l'entraînement séquentiel auto-critique pour maximiser des métriques de légendage élaborées. Cependant, lors de l'optimisation de métriques modernes et de qualité supérieure comme CLIP-Score et PAC-Score, cette méthode d'entraînement rencontre souvent des instabilités et ne parvient pas à acquérir les véritables capacités descriptives nécessaires pour produire des légendes fluides et informatives. Dans cet article, nous proposons un nouveau paradigme d'entraînement appelé Optimisation Directe Basée sur CLIP (DiCO). Notre approche apprend et optimise conjointement un modèle de récompense distillé d'un évaluateur de légende apprenable ayant une forte corrélation humaine. Cela se fait en résolvant un problème de classification pondérée directement à l'intérieur du générateur de légendes. En même temps, DiCO empêche la divergence par rapport au modèle original, garantissant que la fluidité est maintenue. DiCO présente non seulement une stabilité améliorée et une qualité accrue des légendes générées, mais s'aligne également plus étroitement avec les préférences humaines par rapport aux méthodes existantes, en particulier dans les métriques modernes. De plus, elle maintient des performances compétitives dans les métriques traditionnelles. Notre code source et les modèles entraînés sont disponibles au public à https://github.com/aimagelab/DiCO.