KIEval: बड़े भाषा मॉडलों के लिए एक ज्ञान-आधारित इंटरैक्टिव मूल्यांकन फ्रेमवर्क

बड़े भाषा मॉडलों (LLMs) के लिए स्वचालित मूल्यांकन विधियाँ डेटा संदूषण द्वारा बाधित होती हैं, जिससे उनकी प्रभावशीलता का अत्यधिक आकलन होता है। मौजूदा रणनीतियाँ, जो संदूषित पाठों का पता लगाने पर केंद्रित हैं, संदूषण की स्थिति को मात्र मात्रा में मापने पर ध्यान देती हैं न कि मॉडल के प्रदर्शन का सही आकलन करने पर। इस पेपर में, हम KIEval प्रस्तुत करते हैं, एक ज्ञान-आधारित इंटरैक्टिव मूल्यांकन फ्रेमवर्क, जो पहली बार एक LLM-संचालित "इंटरैक्टर" भूमिका को सम्मिलित करता है ताकि गतिशील संदूषण-प्रतिरोधी मूल्यांकन किया जा सके। डोमेन-विशिष्ट ज्ञान वाले पारंपरिक LLM बेंचमार्क के एक प्रश्न से शुरू करके, KIEval गतिशील रूप से उत्पन्न, बहु-राउंड, और ज्ञान-केंद्रित संवादों का उपयोग करता है यह निर्धारित करने के लिए कि क्या मॉडल की प्रतिक्रिया केवल बेंचमार्क उत्तरों की पुनः-याद है या यह अधिक जटिल संवादों में ज्ञान को समझदारी से लागू करने की गहरी समझ दिखाती है। पाँच डेटासेट्स पर सात प्रमुख LLMs पर व्यापक प्रयोग KIEval की प्रभावशीलता और सामान्यीकरण को मान्य करते हैं। हम यह भी बताते हैं कि डेटा संदूषण मॉडल की वास्तविक विश्व में उपयुक्तता और समझ में कोई योगदान नहीं देता या नकारात्मक प्रभाव डालता है, और LLMs के लिए मौजूदा संदूषण पहचान विधियाँ केवल पूर्व-प्रशिक्षण में संदूषण की पहचान कर सकती हैं, न कि सुपरवाइज्ड फाइन-ट्यूनिंग के दौरान।