Perte d'entropie maximale, la solution miracle contre les attaques par porte dérobée dans les modèles linguistiques pré-entraînés

Le modèle linguistique pré-entraîné (PLM) peut être furtivement induit en erreur pour cibler des sorties par des attaques par porte dérobée lorsqu'il rencontre des échantillons empoisonnés, sans dégradation des performances sur des échantillons propres. La furtivité des attaques par porte dérobée est généralement atteinte par un ajustement fin de la perte d'entropie croisée minimale sur une union d'échantillons empoisonnés et propres. Les paradigmes de défense existants fournissent une solution en détectant et en éliminant les échantillons empoisonnés au moment du pré-entraînement ou de l'inférence. Au contraire, nous proposons une nouvelle perspective dans laquelle l'attaque par porte dérobée est directement inversée. Plus précisément, la perte d'entropie maximale est intégrée dans l'entraînement pour neutraliser l'ajustement fin de la perte d'entropie croisée minimale sur les données empoisonnées. Nous défendons contre un éventail d'attaques par porte dérobée sur des tâches de classification et réduisons considérablement le taux de succès de l'attaque. Par extension, nous explorons la relation entre les attaques par porte dérobée intentionnelles et le biais de dataset non intentionnel, et démontrons la faisabilité du principe d'entropie maximale dans le déséquilibrage.