पुश और पुल: एम्बेडिंग स्पेस को रीशेपिंग के माध्यम से पुनर्प्राप्ति विषाक्तता हमलों के खिलाफ रक्षा करना

रिट्रीवल-Augmented Generation (RAG) बड़े भाषा मॉडलों (LLMs) के प्रदर्शन को सुधारता है, जो बाहरी ज्ञान बेस से प्रासंगिक जानकारी को पुनः प्राप्त करता है और एकीकृत करता है, जिससे अधिक सटीक प्रतिक्रियाएँ उत्पन्न करने में सहायता मिलती है। हालाँकि, RAG पुनर्प्राप्ति विषाक्तता हमलों के प्रति संवेदनशील है, जहाँ हमलावर LLM को गलत प्रतिक्रियाएँ उत्पन्न करने के लिए पुनर्प्राप्ति प्रक्रिया में दुर्भावनापूर्ण दस्तावेज़ सम्मिलित करके प्रेरित कर सकते हैं। इस पेपर में, हम ShieldRAG का प्रस्ताव करते हैं, जो एक नया रक्षा ढांचा है जिसे पुनर्प्राप्ति विषाक्तता हमलों का मुकाबला करने के लिए पुनर्प्राप्ति एम्बेडिंग स्पेस को रीशेप करने के लिए डिज़ाइन किया गया है। ShieldRAG एक द्वि-रणनीति प्रभाव को लागू करता है जो बहुमत-सहमति तंत्र के माध्यम से महसूस किया जाता है: ① पुश: दुर्भावनापूर्ण दस्तावेजों से उपयोगकर्ता प्रश्न के एम्बेडिंग को दूर करने के लिए अप्रत्यक्ष रूप से मजबूर करता है, उनके अल्पसंख्यक संकेतों को पृथक करके, उनके प्रभाव को कम करता है। ② पुल: उपयोगकर्ता प्रश्न के एम्बेडिंग को शुभ दस्तावेजों के करीब संरेखित करता है, सटीक पुनर्प्राप्ति को मजबूत करता है। ये रणनीतियाँ पुनर्प्राप्ति अखंडता को बनाए रखने और LLM-जनित प्रतिक्रियाओं की गुणवत्ता को बढ़ाने के लिए सामूहिक रूप से कार्य करती हैं। विशेष रूप से, ShieldRAG तीन मुख्य चरणों के माध्यम से कार्य करता है: स्लाइडिंग रिट्रीवल व्याख्या निर्माण, कीवर्ड एकत्रीकरण, और प्रश्न लक्षित ऑप्टिमाइजेशन। ये तीन चरण सामूहिक रूप से शुभ स्रोतों से जानकारी के प्रभावी एकीकरण को सुनिश्चित करते हैं जबकि दुर्भावनापूर्ण हस्तक्षेप को छानते हैं, इस प्रकार RAG प्रणाली की पुनर्प्राप्ति विषाक्तता हमलों के खिलाफ मजबूती को महत्वपूर्ण रूप से बढ़ाते हैं। हम ShieldRAG का मूल्यांकन चार ओपन-डोमेन प्रश्न उत्तरिंग (QA) डेटा सेट्स: नेचुरल क्वेश्चन्स, MS-MARCO, हॉटपॉटQA, और 2WikiMultiHopQA पर करते हैं, जिसमें सात प्रतिनिधि LLMs का उपयोग किया गया है। व्यापक प्रयोग दिखाते हैं कि ShieldRAG प्रतिक्रिया की सटीकता को महत्वपूर्ण रूप से सुधारता है जबकि प्रतिकूल प्रभावों को कम करता है, कई डेटा सेटों और LLM आर्किटेक्चर पर मजबूत सामान्यीकरण का प्रदर्शन करता है।