भाषा मॉडलों में कुछ-शॉट सीखने के माध्यम से कोड अनुवाद को बढ़ाना पुनर्प्राप्ति-प्रवर्धित पीढ़ी के साथ

बड़े भाषा मॉडल (LLMs) का आगमन कोड अनुवाद के क्षेत्र में महत्वपूर्ण प्रगति लाया है, जिससे प्रोग्रामिंग भाषाओं के बीच स्वचालित अनुवाद संभव हुआ है। हालांकि, ये मॉडल अक्सर जटिल अनुवाद कार्यों में अपर्याप्त संदर्भ समझ के कारण संघर्ष करते हैं। यह पेपर एक नवीन दृष्टिकोण प्रस्तुत करता है जो कुछ-शॉट सीखने के माध्यम से कोड अनुवाद को बढ़ाता है, जिसे पुनर्प्राप्ति-आधारित तकनीकों से बढ़ाया गया है। मौजूदा कोड अनुवादों के एक रिपॉजिटरी का लाभ उठाकर, हम नए कोड खंडों का अनुवाद करने के लिए मॉडल को मार्गदर्शन देने के लिए सबसे प्रासंगिक उदाहरणों को गतिशील रूप से पुनः प्राप्त करते हैं। हमारी विधि, जो पुनर्प्राप्ति-प्रवर्धित पीढ़ी (RAG) पर आधारित है, संदर्भित उदाहरणों को प्रदान करके अनुवाद की गुणवत्ता को महत्वपूर्ण रूप से सुधारती है, जिनसे मॉडल वास्तविक समय में सीख सकता है। हमने पारंपरिक फाइन-ट्यूनिंग विधियों के मुकाबले RAG को चुना क्योंकि यह मौजूदा कोडबेस या स्थानीय रूप से संग्रहीत कोड के संकलन का उपयोग करने में सक्षम है, जिससे विभिन्न अनुवाद कार्यों के लिए स्वचालित अनुकूलन की अनुमति मिलती है बिना विस्तृत पुनः प्रशिक्षण के। ओपन LLM मॉडलों जैसे Starcoder, Llama3-70B Instruct, CodeLlama-34B Instruct, Granite-34B Code Instruct, और Mixtral-8x22B पर व्यापक प्रयोग, साथ ही GPT-3.5 Turbo और GPT-4o जैसे व्यावसायिक LLM मॉडलों पर हमारी विधि की पारंपरिक जीरो-शॉट विधियों पर श्रेष्ठता को दर्शाते हैं, विशेषकर Fortran और CPP के बीच अनुवाद करते समय। हमने परिकल्पित शॉट्स की भिन्न संख्याओं का भी अन्वेषण किया, अर्थात् प्रमाणित उदाहरण जो अनुमान के दौरान प्रदान किए गए, विशेष रूप से 1, 2, और 3 शॉट्स और RAG के लिए विभिन्न एम्बेडिंग मॉडलों का उपयोग किया, जिसमें Nomic-Embed, Starencoder, और CodeBERT शामिल हैं, ताकि हमारे दृष्टिकोण की मजबूती और प्रभावशीलता का आकलन किया जा सके।