Jetons d'Action de Dialogue : Orienter les Modèles Linguistiques dans un Dialogue Dirigé par un Planificateur Multi-Tours

Nous présentons une approche appelée Jetons d'Action de Dialogue (DAT) qui adapte les agents de modèles linguistiques pour planifier des dialogues dirigés par des objectifs. L'idée centrale est de traiter chaque énoncé comme une action, transformant ainsi les dialogues en jeux où des approches existantes telles que l'apprentissage par renforcement peuvent être appliquées. Plus précisément, nous figeons un modèle linguistique préentraîné et formons un petit modèle planificateur qui prédit un vecteur d'action continu, utilisé pour une génération contrôlée à chaque tour. Cette conception évite le problème de dégradation du langage sous optimisation de récompense. Lors de l'évaluation sur la plateforme Sotopia pour des simulations sociales, le modèle LLaMA dirigé par DAT surpasse les performances de GPT-4. Nous appliquons également le DAT pour orienter un modèle linguistique d'attaquant dans un nouveau cadre de red teaming multi-tours, révélant une nouvelle surface d'attaque potentielle.