Techniken zur Erkennung und Minderung von Verzerrungen in Datenwissenschafts-Pipelines: Eine empirische Evaluierung

Hintergrund: Die Nichterfassung algorithmischer Verzerrungen kann zu diskriminierenden Ergebnissen in maschinellen Lernsystemen führen, insbesondere wenn diese Modelle in Entscheidungsumgebungen mit hohen Einsätzen operieren. Obwohl zahlreiche Techniken zur Minderung von Verzerrungen vorgeschlagen wurden, behandeln die meisten Studien die Fairnessbewertung als eine nachgereichte Evaluation. Diese Lücke macht die Notwendigkeit eines lebenszyklusorientierten Rahmens deutlich, um miteinander verbundene Verzerrungs- und Fairnessmechanismen zu untersuchen.Ziele: Diese Studie zielt darauf ab, eine empirische Untersuchung der Verzerrungsfortpflanzung über das Datenwissenschafts-Kontinuum innerhalb eines strukturierten Verzerrungsverarbeitungsrahmens durchzuführen.Methoden: Der vorgeschlagene Rahmen wurde an Benchmark-Datensätzen mit sensiblen Attributen getestet. Drei prädiktive Modelle wurden implementiert: Logistische Regression, Random Forest und Gradient Boosting. Die Fairness wurde mit Hilfe von Metriken wie dem demografischen Gleichgewicht, Gleichheit der Chancen und durchschnittlichen Quoten bewertet. Weitere prädiktive Modellierungstechniken wurden eingesetzt, um die Fairnessergebnisse zu interpretieren. Strategien zur Minderung von Verzerrungen wurden sowohl auf Daten- als auch auf Modellebene angewendet, einschließlich einer faire Regularisierung der Optimierung und hybrider Ansätze. Eine Sensitivitätsanalyse wurde durchgeführt, um den Kompromiss zwischen Fairnessbeschränkungen und Modellverlust zu untersuchen.Ergebnis: Die empirischen Ergebnisse zeigen, dass die meisten Unterschiede aus Verzerrungen stammen, die in den Daten eingebettet sind, und nicht aus der Modellarchitektur. Die Minderung der Verzerrungen auf Datenebene verringerte die Diskrepanz um 28 %. Der Ansatz der fairen Regularisierung der Optimierung verringerte die Diskrepanz um 35 %. Die hybride Minderungsstrategie erreichte eine Reduktion der demografischen Diskrepanz um 40–45 %, mit einem Genauigkeitsverlust von nicht mehr als 2 %. Die Sensitivitätsanalyse enthüllte nicht-lineare Spannungen zwischen Fairnessbeschränkungen und Optimierungsverlust, was zeigt, dass eine frühzeitige Verzerrungsminderung die Fairness stabilisiert, ohne die Leistungseinbußen erheblich zu erhöhen.Konklusion: Diese Studie erweitert sowohl das theoretische als auch das praktische Verständnis der Lebenszyklus-Verzerrungsfortpflanzung in maschinellen Lernsystemen. Die Ergebnisse betonen die Bedeutung der Auseinandersetzung mit Verzerrungen in den frühen Phasen der Datenwissenschaftspipeline, um stabile und nachhaltige Fairnessergebnisse zu erzielen. Durch die Integration von Fairness-Engineering während des gesamten Lebenszyklus trägt der vorgeschlagene Rahmen zu robusteren und ethisch ausgerichteten KI-Systemen bei.