आवर्ती ग्राफ संरेखण

विभिन्न कथाओं को संकुचित करके, LLMs केवल स्मरणशक्ति से आगे बढ़ते हैं, सामान्यीकृत कारणात्मक संबंधों को पकड़कर बुद्धिमत्ता प्राप्त करते हैं। हालांकि, वे स्थानीय 'प्रतिनिधित्व अंतरालों' से पीड़ित होते हैं जो अपर्याप्त प्रशिक्षण डेटा विविधता के कारण होते हैं, जो उनके वास्तविक दुनिया के उपयोगिता को सीमित करता है, विशेष रूप से ऐसे कार्यों में जो नियमों के प्रति सख्त संरेखण की मांग करते हैं। भारी मानव एनोटेशन पर निर्भर पारंपरिक संरेखण विधियां अप्रभावी और अस्थायी होती हैं। हाल की आत्म-संरेखण तकनीकें भी कमज़ोर साबित होती हैं, क्योंकि वे अक्सर आत्म-चयन आधारित प्रॉम्प्टिंग और स्मरणशक्ति आधारित शिक्षण पर निर्भर करती हैं। इन समस्याओं का समाधान करने के लिए, हम आवर्ती ग्राफ संरेखण (IGA) प्रस्तुत करते हैं, जो एक एनोटेशन-मुक्त नियम-आधारित संरेखण एल्गोरिदम है। एक शिक्षक मॉडल (VLM) तार्किक ग्राफ और संदर्भ उत्तर बनाने के लिए आवर्ती ग्राफ प्रॉम्प्टिंग (IGP) का उपयोग करता है। छात्र मॉडल (LLM) इन संदर्भों के साथ अपने उत्तरों को संरेखित करने का प्रयास करके स्थानीय ज्ञान अंतरालों की पहचान करता है, सहायक मॉडलों के साथ सहयोग करते हुए विविध उत्तर उत्पन्न करता है। ये संरेखित उत्तर फिर आवर्ती पर्यवेक्षित फाइन-ट्यूनिंग (SFT) के लिए उपयोग किए जाते हैं। पांच नियम-आधारित परिदृश्यों में हमारे मूल्यांकन IGP की प्रभावशीलता को दर्शाते हैं, जिसमें क्लॉड सॉनेट 3.5 में 73.12\% संरेखण सुधार और लामा3-8B-निर्देश में 86.20\% सुधार हुआ, जिसने नियम-आधारित संरेखण में क्लॉड सॉनेट 3.5 को पीछे छोड़ दिया।