विशाल भाषा मॉडलों में राजनीतिक पूर्वाग्रह को मापना: क्या कहा गया है और यह कैसे कहा गया है

हम LLMs में राजनीतिक पूर्वाग्रह को मापने का प्रस्ताव रखते हैं, जिसमें राजनीतिक मुद्दों के संबंध में उनके जनित सामग्री की सामग्री और शैली दोनों का विश्लेषण किया जाता है। मौजूदा बेंचमार्क और उपाय लिंग और जातीय पूर्वाग्रहों पर ध्यान केंद्रित करते हैं। हालाँकि, LLMs में राजनीतिक पूर्वाग्रह मौजूद है और यह डाउनस्ट्रीम अनुप्रयोगों में ध्रुवीकरण और अन्य नुकसान का कारण बन सकता है। उपयोगकर्ताओं को पारदर्शिता प्रदान करने के लिए, हम यह Advocating करते हैं कि LLMs द्वारा उत्पन्न राजनीतिक पूर्वाग्रहों के लिए बारीक और स्पष्ट उपाय होना चाहिए। हमारा प्रस्तावित उपाय प्रजनन अधिकारों और जलवायु परिवर्तन जैसे विभिन्न राजनीतिक मुद्दों को देखता है, जैसे कि पूर्वाग्रह की सामग्री (उत्पादन की सामग्री) और शैली (शब्दावली पक्षपात)। हमने ग्यारह ओपनसोर्स LLMs में राजनीतिक पूर्वाग्रह को मापा और दिखाया कि हमारा प्रस्तावित ढांचा अन्य विषयों पर आसानी से विस्तार योग्य है और इसे समझाया जा सकता है।