Attention à l'interférence : conserver les connaissances pré-entraînées dans l'apprentissage continu efficace des modèles vision-langue

Cette étude aborde le problème de l'apprentissage incrémental de classe de domaine, un scénario d'apprentissage continu réaliste mais difficile où à la fois la distribution du domaine et les classes cibles varient selon les tâches. Pour gérer ces tâches diverses, des modèles vision-langue pré-entraînés (VLMs) sont introduits pour leur forte généralisabilité. Cependant, cela entraîne un nouveau problème : les connaissances codées dans les VLMs pré-entraînés peuvent être perturbées lors de l'adaptation à de nouvelles tâches, compromettant leur capacité intrinsèque à zéro coup. Les méthodes existantes traitent ce problème en ajustant les VLMs avec une distillation de connaissances sur des ensembles de données supplémentaires, ce qui nécessite une lourde charge de calcul. Pour aborder ce problème efficacement, nous proposons le cadre d'intégration de connaissances sans interférence et conscient de la distribution (DIKI), qui conserve les connaissances pré-entraînées des VLMs sous l'angle de l'évitement de l'interférence d'information. Plus précisément, nous concevons un mécanisme entièrement résiduel pour infuser de nouvelles connaissances dans une base gelée, tout en introduisant un impact minimal sur les connaissances pré-entraînées. De plus, cette propriété résiduelle permet notre schéma d'étalonnage d'intégration conscient de la distribution, contrôlant explicitement le processus d'implantation d'informations pour les données de test provenant de distributions non vues. Les expériences démontrent que notre DIKI surpasse l'approche actuelle de l'état de l'art en utilisant seulement 0,86 % des paramètres entraînés et nécessitant considérablement moins de temps d'entraînement. Le code est disponible à : https://github.com/lloongx/DIKI.