स्पोकन स्टेरियोसेट: भाषण में वक्ता के प्रति सामाजिक पूर्वाग्रह का मूल्यांकन करना बड़े भाषा मॉडल

चेतावनी: इस पेपर में असहज सामग्री वाले पाठ हो सकते हैं। बड़े भाषा मॉडल (LLMs) ने विभिन्न कार्यों में उत्कृष्ट प्रदर्शन किया है, जिसमें उन कार्यों को भी शामिल किया गया है जिनमें मल्टीमॉडल डेटा जैसे कि भाषण शामिल हैं। हालाँकि, ये मॉडल अक्सर अपने प्रशिक्षण डेटा के स्वभाव के कारण पूर्वाग्रह प्रदर्शित करते हैं। हाल ही में, अधिक भाषण बड़े भाषा मॉडल (SLLMs) उभरकर सामने आए हैं, जो इन पूर्वाग्रहों को संबोधित करने की अत्यावश्यकता को उजागर करते हैं। यह अध्ययन स्पोकन स्टेरियोसेट का परिचय देता है, जो विशेष रूप से SLLMs में सामाजिक पूर्वाग्रहों का मूल्यांकन करने के लिए डिज़ाइन किया गया एक डेटासेट है। विभिन्न जनसंख्यात्मक समूहों से भाषण की प्रतिक्रियाओं का मूल्यांकन करके, हम इन पूर्वाग्रहों की पहचान करने का प्रयास करते हैं। हमारे प्रयोग उनके प्रदर्शन और पूर्वाग्रह स्तरों में महत्वपूर्ण अंतर्दृष्टि प्रकट करते हैं। निष्कर्ष बताते हैं कि जबकि अधिकांश मॉडल न्यूनतम पूर्वाग्रह दिखाते हैं, कुछ अभी भी हल्के तौर पर रूढ़िवादी या एंटी-स्टेरियोटाइपिकल प्रवृत्तियाँ प्रदर्शित करते हैं।