Algorithmische Voreingenommenheit

Algorithmen und die Entscheidungsfindung auf Basis von Big Data sind in allen Aspekten unseres täglichen Lebens (sowohl offline als auch online) allgegenwärtig geworden, da sie zu wesentlichen Werkzeugen in den Bereichen persönliche Finanzen, Gesundheitsversorgung, Einstellung, Wohnen, Bildung und Politik geworden sind. Es ist daher von gesellschaftlicher und ethischer Bedeutung zu fragen, ob diese Algorithmen aus Gründen wie Geschlecht, Ethnie oder Gesundheitsstatus diskriminierend sein können. Es stellt sich heraus, dass die Antwort positiv ist: Jüngste Studien im Kontext der Online-Werbung zeigen beispielsweise, dass Anzeigen für gutbezahlte Stellen Männern viel häufiger als Frauen angezeigt werden (Datta et al., 2015); und Anzeigen für Verhaftungsprotokolle tauchen signifikant häufiger bei Suchanfragen nach charakteristisch schwarzen Namen auf (Sweeney, 2013). Diese algorithmische Voreingenommenheit besteht sogar, wenn in der Entwicklung des Algorithmus keine Diskriminierungsabsicht vorhanden ist. Manchmal kann sie in den verwendeten Datenquellen begründet sein (Software, die Entscheidungen auf Basis von Daten trifft, kann die Ergebnisse historischer Diskriminierung widerspiegeln oder sogar verstärken), aber selbst wenn die sensiblen Attribute aus dem Eingang herausgefiltert wurden, kann ein gut trainierter Algorithmus für maschinelles Lernen dennoch auf Basis solcher sensibler Attribute diskriminieren, aufgrund von Korrelationen, die in den Daten existieren. Diese Überlegungen erfordern die Entwicklung von Datenanalysesystemen, die von vornherein diskiminierungsgerecht sind. Dies ist ein neuartiges und herausforderndes Forschungsgebiet für die Data-Mining-Community.