Désapprentissage des grands modèles de langage via des invites corrompues par l'incorporation

Les grands modèles de langage (LLMs) ont progressé pour englober des connaissances étendues à travers divers domaines. Pourtant, contrôler ce qu'un grand modèle de langage ne devrait pas savoir est important pour garantir l'alignement et donc une utilisation sécurisée. Cependant, désapprendre avec précision et efficacement des connaissances dans un LLM reste un défi en raison des dommages collatéraux potentiels causés par la frontière floue entre la rétention et l'oubli, ainsi que des exigences computationnelles élevées pour l'optimisation à travers des modèles à la pointe de la technologie avec des centaines de milliards de paramètres. Dans ce travail, nous présentons les invites corrompues par l'incorporation (ECO), un cadre léger de désapprentissage pour grands modèles de langage afin de relever les défis à la fois de l'enchevêtrement des connaissances et de l'efficacité du désapprentissage. Au lieu de compter sur le LLM lui-même pour désapprendre, nous imposons un état désappris pendant l'inférence en utilisant un classificateur d'invite pour identifier et protéger les invites à oublier. Nous apprenons les corruptions ajoutées aux incorporations d'invite via une optimisation d'ordre zéro vers l'objectif de désapprentissage hors ligne et faisons corrompre les invites signalées par le classificateur lors de l'inférence. Nous constatons que ces invites corrompues par l'incorporation non seulement mènent à des sorties souhaitables qui satisfont à l'objectif de désapprentissage, mais se rapprochent également de la sortie d'un modèle qui n'a jamais été entraîné sur les données destinées à l'oubli. À travers des expériences approfondies sur le désapprentissage, nous démontrons la supériorité de notre méthode pour atteindre un désapprentissage prometteur avec quasiment aucun effet secondaire dans des domaines généraux et des domaines étroitement liés à ceux qui ont été désappris. De plus, nous soulignons l'évolutivité de notre méthode à 100 LLMs, allant de 0,5B à 236B de paramètres, sans coût supplémentaire à mesure que le nombre de paramètres augmente.