Key points are not available for this paper at this time.
Les Modèles de Langage Masqués (MLMs) ont montré des performances supérieures dans de nombreuses tâches de Traitement du Langage Naturel (NLP) en aval. Malheureusement, les MLMs démontrent également des niveaux de biais sociaux significativement préoccupants. Nous montrons que les métriques d'évaluation précédemment proposées pour quantifier les biais sociaux dans les MLM sont problématiques pour les raisons suivantes : (1) la précision des prédictions des tokens masqués eux-mêmes tend à être faible dans certains MLM, ce qui conduit à des métriques d'évaluation peu fiables, et (2) dans la plupart des tâches NLP en aval, les masques ne sont pas utilisés ; par conséquent, la prédiction du masque n'est pas directement liée à celles-ci, et (3) les mots à haute fréquence dans les données d'entraînement sont masqués plus souvent, introduisant du bruit en raison de ce biais de sélection dans les cas de test. Par conséquent, nous proposons la Probabilité Totale Non Masquée (AUL), une mesure d'évaluation des biais qui prédit tous les tokens dans un cas de test donné l'intégration MLM de l'entrée non masquée et AUL avec des poids d'Attention (AULA) pour évaluer les tokens en fonction de leur importance dans une phrase. Nos résultats expérimentaux montrent que les mesures d'évaluation des biais proposées détectent avec précision différents types de biais dans les MLM, et contrairement à AUL et AULA, les mesures précédemment proposées pour les MLM surestiment systématiquement les biais mesurés et sont fortement influencées par les tokens non masqués dans le contexte.
Kaneko et al. (Mar), ont étudié cette question.