Une nouvelle analyse de la généralisation robuste de l'ajustement d'invite adversarial

Comprendre la vulnérabilité des modèles de vision-langage pré-entraînés à grande échelle comme CLIP face aux attaques adversariales est essentiel pour garantir la capacité de généralisation zéro-shot sur diverses tâches en aval. Les mécanismes de défense à la pointe de la technologie adoptent généralement des stratégies d'apprentissage par invite pour le fin-tuning adversarial afin d'améliorer la robustesse adversariale du modèle pré-entraîné tout en conservant l'efficacité d'adaptation aux tâches en aval. Une telle configuration conduit au problème de l'overfitting, qui empêche une amélioration supplémentaire de la capacité de généralisation du modèle sur des exemples propres et adversariaux. Dans ce travail, nous proposons un cadre adaptatif d'ajustement d'invite adversarial guidé par la consistance (i.e., CAPT) qui utilise l'apprentissage par invite multimodal pour améliorer l'alignement des caractéristiques d'image et de texte pour les exemples adversariaux et tirer parti de la forte généralisation de CLIP pré-entraîné pour guider le modèle, améliorant ainsi sa généralisation robuste sur des exemples adversariaux tout en maintenant sa précision sur des exemples propres. Nous concevons également une nouvelle fonction objective de consistance adaptative pour équilibrer la consistance des entrées adversariales et des entrées propres entre le modèle de fin-tuning et le modèle pré-entraîné. Nous réalisons d'amples expériences sur 14 ensembles de données et 4 schémas de rareté des données (de 1-shot à des paramètres d'entraînement complet) pour montrer la supériorité de CAPT par rapport à d'autres méthodes d'adaptation à la pointe de la technologie. CAPT a démontré d'excellentes performances en termes de performance en distribution et de généralisation sous changement de distribution d'entrée et à travers les ensembles de données.