Prompting Suave para el Desaprendizaje en Modelos de Lenguaje Grande

La popularidad generalizada de los Modelos de Lenguaje Grande (LLMs), en parte debido a su capacidad única para realizar aprendizaje en contexto, también ha resaltado la importancia de considerar aspectos éticos y de seguridad al implementar estos modelos preentrenados. En este trabajo, nos enfocamos en investigar el desaprendizaje automático para LLMs motivado por regulaciones de protección de datos. En contraste con la creciente literatura sobre métodos de ajuste fino para lograr el desaprendizaje, nos centramos en una alternativa comparativamente ligera llamada prompting suave para realizar el desaprendizaje de un subconjunto de datos de entrenamiento. Con pérdidas diseñadas para forzar el olvido así como la preservación de la utilidad, nuestro marco Prompting Suave para el Desaprendizaje (SPUL) aprende tokens de prompt que pueden ser añadidos a una consulta arbitraria para inducir el desaprendizaje de ejemplos específicos en el momento de la inferencia sin actualizar los parámetros de LLM. Realizamos una evaluación rigurosa del método propuesto y nuestros resultados indican que SPUL puede mejorar significativamente la compensación entre utilidad y olvido en el contexto de clasificación de texto con LLMs. Además, validamos nuestro método utilizando múltiples LLMs para resaltar la escalabilidad de nuestro marco y proporcionar información detallada sobre la elección de hiperparámetros y la influencia del tamaño de los datos de desaprendizaje. Nuestra implementación está disponible en https: //github. com/karuna-bhaila/llmᵤnlearning.