Détection de la toxicité par inférence générative basée sur des instructions

En raison de la subtilité, de l'implicite et des différentes interprétations possibles perçues par des personnes différentes, la détection de contenu indésirable dans un texte est une difficulté nuancée. Il est bien connu que les modèles de langage (ML), une fois formés sur des corpus contenant du contenu indésirable, ont le pouvoir de manifester des biais et de la toxicité. Cependant, des études récentes impliquent que, comme remède, les ML sont également capables d'identifier du contenu toxique sans ajustement supplémentaire. Les méthodes basées sur des instructions ont montré qu'elles exploitent efficacement cette capacité surprenante d'auto-diagnostic. Cependant, les méthodes existantes basées sur des instructions spécifient généralement une instruction à un modèle de langage de manière discriminante. Dans ce travail, nous explorons la variante générative de la détection de toxicité basée sur des instructions zéro-shot avec des essais complets sur l'ingénierie des instructions. Nous évaluons sur trois ensembles de données avec des étiquettes de toxicité annotées sur des publications sur les réseaux sociaux. Notre analyse met en évidence les forces de notre approche de classification générative à la fois quantitativement et qualitativement. Des aspects intéressants de l'auto-diagnostic et de ses implications éthiques sont discutés.