क्या चैटजीपीटी सिफारिश के लिए निष्पक्ष है? बड़े भाषा मॉडल सिफारिश में निष्पक्षता का मूल्यांकन

बड़े भाषा मॉडल (LLMs) कीRemarkable उपलब्धियों ने एक नए सिफारिशी पैटर्न के उदय को जन्म दिया है - LLM के माध्यम से सिफारिश (RecLLM)। फिर भी, यह महत्वपूर्ण है कि LLMs में सामाजिक पूर्वाग्रह हो सकते हैं, और इसलिए, RecLLM द्वारा की गई सिफारिशों की निष्पक्षता की और जांच की आवश्यकता है। RecLLM के संभावित जोखिमों से बचने के लिए, उपयोगकर्ता पक्ष पर विभिन्न संवेदनशील विशेषताओं के संदर्भ में RecLLM की निष्पक्षता का मूल्यांकन करना अनिवार्य है। RecLLM पैटर्न और पारंपरिक सिफारिश पैटर्न के बीच अंतर के कारण, पारंपरिक सिफारिश की निष्पक्षता मानक का सीधे उपयोग करना समस्त है। इस दुविधा को सुलझाने के लिए, हम Fairness of Recommendation via LLM (FaiRLLM) नामक एक नया मानक प्रस्तावित करते हैं। यह मानक सावधानीपूर्वक तैयार किए गए मेट्रिक्स और एक डेटा सेट का समावेश करता है जो दो सिफारिश परिदृश्यों: संगीत और फिल्मों में आठ संवेदनशील विशेषताओं को ध्यान में रखता है। हमारे FaiRLLM मानक का उपयोग करते हुए, हमने चैटजीपीटी का मूल्यांकन किया और पाया कि यह सिफारिशें उत्पन्न करते समय कुछ संवेदनशील विशेषताओं के प्रति असमानता दिखाता है। हमारा कोड और डेटा सेट https://github.com/jizhi-zhang/FaiRLLM पर उपलब्ध है।