अंग्रेजी-केंद्रित LLMs के परे: बहुभाषी भाषा मॉडल किस भाषा में 'सोचते' हैं?

इस अध्ययन में, हम जांच करते हैं कि क्या गैर-अंग्रेजी-केंद्रित LLMs, उनकी उच्च प्रदर्शन के बावजूद, अपनी-अपनी प्रमुख भाषा में 'सोचते' हैं: अधिक सटीक रूप से, 'सोचते' का तात्पर्य है कि मध्य स्तरों के प्रतिनिधित्व, जब शब्दकोश स्थान में अन-अनुरूपित होते हैं, उत्पादन के दौरान कुछ प्रमुख भाषाओं के लिए उच्च संभावनाएँ दिखाते हैं। हम ऐसी भाषाओं को आंतरिक निहित भाषाएँ कहते हैं। हम जापानी प्रसंस्करण के तीन विशिष्ट श्रेणियों के मॉडलों की निहित भाषा का अध्ययन करते हैं: Llama2, एक अंग्रेजी-केंद्रित मॉडल; Swallow, एक अंग्रेजी-केंद्रित मॉडल जिसे जापानी में निरंतर प्रारंभिक प्रशिक्षण दिया गया है; और LLM-jp, एक मॉडल जो संतुलित अंग्रेजी और जापानी कॉर्पस पर पूर्व-प्रशिक्षित है। हमारे अनुभवात्मक निष्कर्ष प्रकट करते हैं कि, Llama2 के विपरीत जो आंतरिक निहित भाषा के रूप में केवल अंग्रेजी पर निर्भर है, जापानी-विशिष्ट Swallow और LLM-jp दोनों जापानी और अंग्रेजी का प्रयोग करते हैं, जो दोहरी आंतरिक निहित भाषाएँ प्रदर्शित करते हैं। किसी दिए गए लक्ष्य भाषा के लिए, मॉडल उस निहित भाषा को प्राथमिकता देता है जो उससे निकटता से संबंधित होती है। इसके अतिरिक्त, हम जांचते हैं कि मध्य स्तर संस्कृति के संघर्षों वाले सवालों के प्रति कैसे प्रतिक्रिया करते हैं, निहित आंतरिक और लक्षित आउटपुट भाषाओं के बीच। हम यह भी जांचते हैं कि कैसे भाषा की पहचान स्तरों के बीच बदलती है जबकि मध्य स्तर के प्रतिनिधित्व में निरंतर अर्थपूर्णता बनाए रखी जाती है। यह अध्ययन गैर-अंग्रेजी-केंद्रित बड़े भाषा मॉडलों की समझ को गहरा करता है, उनके मध्य स्तरों के भीतर भाषा प्रतिनिधित्व के जटिल गतिशीलता को उजागर करता है।