Fairea: पूर्वाग्रह न्यूनीकरण विधियों के बेंचमार्किंग के लिए एक मॉडल व्यवहार उत्परिवर्तन दृष्टिकोण

मशीन लर्निंग (ML) का बढ़ता उपयोग पूर्वाग्रह (यानी, अन्याय) से निपटने की समस्या के महत्व को बढ़ा रहा है, जिससे यह एक प्रमुख सॉफ्टवेयर इंजीनियरिंग चिंता बन गया है। इस पेपर में, हम Fairea पेश करते हैं, जो ML पूर्वाग्रह न्यूनीकरण विधियों के बेंचमार्किंग के लिए एक मॉडल व्यवहार उत्परिवर्तन दृष्टिकोण है। हम 12 व्यापक रूप से अध्ययन की गई पूर्वाग्रह न्यूनीकरण विधियों की प्रभावशीलता को परीक्षण करने के लिए एक बड़े पैमाने पर अनुभवात्मक अध्ययन की भी रिपोर्ट करते हैं। हमारे परिणाम यह दर्शाते हैं कि, चौंकाने वाली बात यह है कि, 49% मामलों में पूर्वाग्रह न्यूनीकरण विधियों की प्रभावशीलता खराब है। विशेष रूप से, 15% न्यूनीकरण मामलों में Fairea द्वारा स्थापित बेंचमार्क के मुकाबले खराब निष्पक्षता-शुद्धता व्यापार-संबंध हैं; 34% मामलों में शुद्धता में कमी और पूर्वाग्रह में वृद्धि देखी गई है।