Fairness ist nicht statisch

Da maschinelles Lernen zunehmend in Entscheidungssysteme mit hohem Einfluss integriert wird, gibt es ein wachsendes Bedürfnis, die langfristigen Verhaltensweisen von eingesetzten ML-basierten Entscheidungssystemen und deren potenziellen Konsequenzen zu verstehen. Die meisten Ansätze zur Untersuchung oder Verbesserung der Fairness dieser Systeme haben sich auf statische Einstellungen konzentriert, ohne die langfristigen Dynamiken zu berücksichtigen. Das ist nachvollziehbar; langfristige Dynamiken sind schwer zu bewerten, insbesondere weil sie nicht mit dem traditionellen Rahmen der überwachten ML-Forschung übereinstimmen, der feste Datensätze verwendet. Um diese strukturelle Schwierigkeit im Bereich anzugehen, plädieren wir für den Einsatz von Simulationen als ein zentrales Werkzeug zur Untersuchung der Fairness von Algorithmen. Wir untersuchen drei einfache Beispiele für dynamische Systeme, die zuvor im Kontext fairer Entscheidungen bei Bankkrediten, Hochschulzulassungen und Aufmerksamkeitsverteilung untersucht wurden. Durch die Analyse, wie Lernagenten in Simulationen mit diesen Systemen interagieren, können wir frühere Arbeiten erweitern und zeigen, dass statische oder einstufige Analysen kein vollständiges Bild der langfristigen Konsequenzen eines ML-basierten Entscheidungssystems liefern. Wir bieten ein erweiterbares Open-Source-Software-Framework für die Umsetzung von Fairness-fokussierten Simulationsstudien und weiter reproduzierbarer Forschung an, verfügbar unter https://github.com/google/ml-fairness-gym.