Prompting Suave para Desaprender em Modelos de Linguagem de Grande Escala

A popularidade generalizada dos Modelos de Linguagem de Grande Escala (LLMs), em parte devido à sua capacidade única de realizar aprendizado contextual, também trouxe à tona a importância de considerações éticas e de segurança ao implantar esses modelos pré-treinados. Neste trabalho, focamos em investigar o desaprendizado em máquinas para LLMs motivados por regulamentações de proteção de dados. Em contraste com a literatura crescente sobre métodos de ajuste fino para alcançar o desaprendizado, focamos em uma alternativa comparativamente leve chamada prompting suave para realizar o desaprendizado de um subconjunto de dados de treinamento. Com perdas projetadas para impor o esquecimento, bem como a preservação da utilidade, nossa estrutura Prompting Suave para Desaprender (SPUL) aprende tokens de prompt que podem ser anexados a uma consulta arbitrária para induzir o desaprendizado de exemplos específicos no momento da inferência, sem atualizar os parâmetros do LLM. Realizamos uma avaliação rigorosa do método proposto e nossos resultados indicam que o SPUL pode melhorar significativamente a troca entre utilidade e esquecimento no contexto de classificação de texto com LLMs. Validamos ainda nosso método utilizando múltiplos LLMs para destacar a escalabilidade de nossa estrutura e fornecer insights detalhados sobre a escolha de hiperparâmetros e a influência do tamanho dos dados de desaprendizado. Nossa implementação está disponível em https://github.com/karuna-bhaila/llmᵤnlearning.