पाठ वर्गीकरण के लिए वास्तविक डेटा के साथ अनपेक्षित पक्षपात को मापने के लिए सूक्ष्म मीट्रिक

मशीन लर्निंग में अनपेक्षित पक्षपात प्रदर्शन में विभिन्न जनसांख्यिकीय समूहों के लिए प्रणालीगत अंतर के रूप में प्रकट हो सकता है, जो व्यापक समाज में निष्पक्षता की मौजूदा चुनौतियों को बढ़ा सकता है। इस पेपर में, हम थ्रेसहोल्ड-एग्नॉस्टिक मीट्रिक्स का एक सेट प्रस्तुत करते हैं जो इस अनपेक्षित पक्षपात का सूक्ष्म दृष्टिकोण प्रदान करता है, विभिन्न तरीकों पर विचार करके जिनसे वर्गीकर्ता के स्कोर वितरण में नामित समूहों के बीच विविधता हो सकती है। हम एक बड़े नए परीक्षण सेट को भी प्रस्तुत करते हैं जो ऑनलाइन टिप्पणियों का है जिसमें पहचान संदर्भों के लिए क्राउड-सोर्स्ड एनोटेशन शामिल हैं। हम इसे दिखाने के लिए उपयोग करते हैं कि कैसे हमारे मीट्रिक्स मौजूदा सार्वजनिक मॉडलों में नए और संभावित रूप से सूक्ष्म अनपेक्षित पक्षपात को खोजने के लिए उपयोग किए जा सकते हैं।