Geschlechterbias in kontextualisierten Wortembeddings

In diesem Papier quantifizieren, analysieren und mindern wir den Geschlechterbias, der in den kontextualisierten Wortvektoren von ELMo zu beobachten ist. Zunächst führen wir mehrere intrinsische Analysen durch und stellen fest, dass (1) die Trainingsdaten für ELMo signifikant mehr männliche als weibliche Entitäten enthalten, (2) die trainierten ELMo-Embeddings systematisch Geschlechterinformationen kodieren und (3) ELMo Geschlechterinformationen über männliche und weibliche Entitäten ungleich kodiert. Anschließend zeigen wir, dass ein hochmodernes Kernreferenzsystem, das von ELMo abhängt, dessen Bias erbt und signifikanten Bias im WinoBias-Testkorpus zeigt. Schließlich erkunden wir zwei Methoden zur Minderung eines solchen Geschlechterbias und zeigen, dass der im WinoBias demonstrierte Bias eliminiert werden kann.