TS-Align: बड़े भाषा मॉडल के लिए एक शिक्षक-छात्र सहयोगी ढांचा जो स्केलेबल पुनरावृत्त फाइन-ट्यूनिंग प्रदान करता है

बड़े भाषा मॉडल (LLMs) को संरेखित करने के लिए मुख्यधारा के दृष्टिकोण मानव प्राथमिकता डेटा पर अधिक निर्भर करते हैं, विशेष रूप से जब मॉडलों को समय-समय पर अपडेट की आवश्यकता होती है। LLMs के पुनरावृत्त संरेखण की मानक प्रक्रिया प्रत्येक अपडेट के लिए नए मानव फीडबैक को इकट्ठा करना है। हालांकि, डेटा संग्रहण की प्रक्रिया महंगी और स्केल करना चुनौतीपूर्ण है। इस समस्या के समाधान के लिए, हम "TS-Align" ढांचे को पेश करते हैं, जो मॉडल की आउटपुट से स्वचालित रूप से निकाले गए जोड़ीदार फीडबैक डेटा का उपयोग करके एक नीति मॉडल को फाइन-ट्यून करता है। यह स्वचालित खनन प्रक्रिया बड़े पैमाने पर शिक्षक मॉडल और छोटे पैमाने पर छात्र मॉडल के बीच सहयोग के माध्यम से कुशलतापूर्वक पूरी की जाती है। नीति फाइन-ट्यूनिंग प्रक्रिया को हमारे प्रस्तावित शिक्षक-छात्र सहयोगी ढांचे में ऑन-पॉलिसी जनरेशन का उपयोग करके पुनरावृत्त रूप से दोहराया जा सकता है। व्यापक प्रयोगों के माध्यम से, हम यह दिखाते हैं कि हमारी अंतिम संरेखित नीति आधार नीति मॉडल की तुलना में 69.7% औसत जीत दर के साथ कार्य करती है, सात संवादात्मक या निर्देश अनुसरण करने वाले डेटा सेटों में। इसके अलावा, हम दिखाते हैं कि शिक्षक की रैंकिंग क्षमता प्रभावी रूप से हमारे पाइपलाइन के माध्यम से छात्र में निचोड़ी गई है, जिससे नीति मॉडल संरेखण के लिए एक छोटे पैमाने पर फिर भी प्रभावी इनाम मॉडल बनता है।