Die Landschaft und Lücken in Open Source Fairness-Toolkits

Mit dem Anstieg der Literatur über die Bewertung und Minderung unfairer Ergebnisse in Algorithmen sind kürzlich mehrere Open Source ‚Fairness-Toolkits‘ entstanden, um solche Methoden weitreichend zugänglich zu machen. Die Unterschiede in Ansatz und Möglichkeiten der bestehenden Fairness-Toolkits sowie deren Eignung für kommerzielle Kontexte wurden jedoch wenig untersucht. In diesem Papier identifizieren wir die Lücken zwischen den bestehenden Fähigkeiten der Open Source Fairness-Toolkits und den Bedürfnissen der Fachleute der Branche. Konkret führen wir eine vergleichende Bewertung der Stärken und Schwächen von sechs prominenten Open Source Fairness-Toolkits durch und untersuchen die aktuelle Landschaft und Lücken in Fairness-Toolkits durch eine explorative Fokusgruppe, ein halbstrukturiertes Interview und eine anonyme Umfrage unter Fachleuten für Datenwissenschaft/Maschinenlernen (ML). Wir identifizieren mehrere Lücken zwischen den Fähigkeiten der Toolkits und den Bedürfnissen der Fachleute, wobei wir Bereiche hervorheben, die Aufmerksamkeit erfordern, sowie zukünftige Richtungen für Tools, die 'Fairness in der Praxis' besser unterstützen.