Key points are not available for this paper at this time.
Automatische maschinelle Lernsysteme können unbeabsichtigt unangemessene menschliche Vorurteile verstärken und perpetuieren. Frühere Arbeiten zur Untersuchung unangemessener Vorurteile konzentrierten sich größtenteils auf einzelne Systeme. Darüber hinaus gibt es keinen Benchmark-Datensatz zur Untersuchung unangemessener Vorurteile in Systemen. Hier präsentieren wir zum ersten Mal das Equity Evaluation Corpus (EEC), das aus 8.640 sorgfältig ausgewählten englischen Sätzen besteht, um Vorurteile gegenüber bestimmten Rassen und Geschlechtern herauszuarbeiten. Wir verwenden den Datensatz, um 219 automatische Sentiment-Analyse-Systeme zu untersuchen, die an einer kürzlich durchgeführten gemeinsamen Aufgabe, SemEval-2018 Task 1 'Emotionen in Tweets', teilgenommen haben. Wir stellen fest, dass mehrere der Systeme statistisch signifikante Verzerrungen aufweisen; das heißt, sie liefern konsequent leicht höhere Vorhersagen zur Sentiment-Intensität für eine Rasse oder ein Geschlecht. Wir stellen das EEC kostenlos zur Verfügung.
Kiritchenko et al. (Mon,) haben diese Frage untersucht.