ILL: कानूनी और कोर्ट रूम सहायता के लिए एक हल्का बड़ा भाषा मॉडल

कानूनी और कोर्ट रूम कार्यप्रवाह में मैनुअल केस समीक्षा दक्षता की बाधाओं का सामना करती है। जबकि LLMs ऊर्ध्वाधर क्षेत्रों के लिए संभावनाएँ प्रस्तुत करते हैं, वे अक्सर क्षेत्र-विशिष्ट सटीकता और भ्रांतियों के साथ संघर्ष करते हैं। यह पत्र ILL को प्रस्तुत करता है, जो QLoRA के माध्यम से प्रशिक्षित एक हल्का मॉडल है। RTX 4060 GPU पर 4-बिट क्वांटाईज़ेशन का उपयोग करके, ILL कम गणनात्मक लागत के साथ सटीक ज्ञान हस्तांतरण प्राप्त करता है। मॉडल ने 0.8037 के BertScore F1 और 1.89 की पेर्प्लेक्सिटी हासिल की, जबकि ठीक करने के बाद TruthfulQA प्रदर्शन को बड़े पैमाने पर बनाए रखा और MMLU कार्यों पर प्रतिस्पर्धी परिणाम दिखाए। प्रयोगों ने प्रदर्शित किया कि यह विधि छोटे पैमाने के डेटा सेटों पर उत्कृष्ट प्रदर्शन करती है और लगभग 1200 वाक्यों के स्केल पर लगभग समागम दिखाती है। यह कार्य सीमित गणनात्मक संसाधनों का उपयोग करके उच्च गुणवत्ता वाले ऊर्ध्वाधर सहायक मॉडलों का निर्माण करने की संभावनाओं और दक्षता को मान्यता देता है।