सेफ LoRA: बड़े भाषा मॉडल्स को फाइन-ट्यूनिंग करते समय सुरक्षा जोखिम कम करने की चाँदी की परत

जबकि बड़े भाषा मॉडल्स (LLMs) जैसे कि Llama-2 या GPT-4 ने प्रभावशाली ज़ीरो-शॉट प्रदर्शन दिखाया है, फिर भी फाइन-ट्यूनिंग आवश्यक है ताकि उन्हें अनुकूलित डेटासेट, डोमेन-विशिष्ट कार्यों, या अन्य निजी आवश्यकताओं के लिए बेहतर किया जा सके। हालांकि, LLMs के सभी पैरामीटरों को फाइन-ट्यून करना महत्वपूर्ण हार्डवेयर संसाधनों की मांग करता है, जो सामान्य उपयोगकर्ताओं के लिए व्यावहारिक नहीं हो सकता। इसलिए, पैरामीटर-कुशल फाइन-ट्यूनिंग जैसे कि LoRA उभरे हैं, जो उपयोगकर्ताओं को बड़े कंप्यूटिंग संसाधनों की आवश्यकता के बिना LLMs को फाइन-ट्यून करने की अनुमति देते हैं, और सभी पैरामीटरों को फाइन-ट्यून करने की तुलना में प्रदर्शन में कम गिरावट के साथ। दुर्भाग्य से, हाल की अध्ययन बताते हैं कि फाइन-ट्यूनिंग से LLMs की सुरक्षा जोखिम बढ़ सकती है, यहाँ तक कि जब डेटा में कोई दुर्भावनापूर्ण सामग्री न हो। इस चुनौती का सामना करने के लिए, हम Safe LoRA प्रस्तुत करते हैं, जो मूल LoRA कार्यान्वयन में एक सरल एक-लाइनर पैच है, जिसमें चुनी गई परतों से LoRA भारों का प्रोजेक्शन सुरक्षा-समन्वित उपस्थल में शामिल किया गया है, जिससे LLM फाइन-ट्यूनिंग में सुरक्षा जोखिम प्रभावी ढंग से कम होते हैं जबकि उपयोगिता बनी रहती है। ध्यान देने योग्य है कि Safe LoRA प्रशिक्षण-मुक्त और डेटा-मुक्त दृष्टिकोण है, क्योंकि इसे केवल बेस और एलाइन किए गए LLMs के भारों का ज्ञान चाहिए। हमारे व्यापक प्रयोग दिखाते हैं कि जब केवल दुर्भावनापूर्ण डेटा पर फाइन-ट्यून किया जाता है, तो Safe LoRA मूल समन्वित मॉडल की समान सुरक्षा प्रदर्शन बनाए रखता है। इसके अतिरिक्त, जब फाइन-ट्यूनिंग डेटासेट में सौम्य और दुर्भावनापूर्ण दोनों प्रकार के डेटा मिश्रित होते हैं, तो Safe LoRA दुर्भावनापूर्ण डेटा के नकारात्मक प्रभाव को कम करता है जबकि नीचे की मंजिल के कार्यों पर प्रदर्शन बनाए रखता है।