Réduction monolingue et multilingue du biais de genre dans les représentations contextualisées

Les modèles de langue préentraînés (MLP) apprennent les stéréotypes détenus par les humains et reflétés dans les textes de leurs corpus d'entraînement, y compris le biais de genre. Lorsqu'ils sont utilisés pour des tâches en aval telles que la sélection de candidats pour un emploi, les vies des personnes peuvent être affectées négativement par ces stéréotypes appris. Les travaux antérieurs identifient généralement un sous-espace de genre linéaire et éliminent les informations de genre en supprimant ce sous-espace. Dans cette lignée de travail, nous proposons d'utiliser DensRay, une méthode analytique pour obtenir des sous-espaces denses interprétables. Nous montrons que DensRay est à la hauteur des approches précédentes, mais fournissons des arguments montrant qu'il est plus robuste et qu'il conserve mieux les performances du modèle de langue. En appliquant DensRay aux têtes d'attention et aux couches de BERT, nous montrons que l'information de genre est répartie sur toutes les têtes d'attention et la plupart des couches. Nous montrons également que DensRay peut obtenir des scores de biais de genre à la fois au niveau des tokens et des phrases. Enfin, nous démontrons que nous pouvons supprimer le biais de manière multilingue, par exemple en provenance du chinois, en utilisant uniquement des données d'entraînement en anglais.