वित्त के लिए निरंतर पूर्व-प्रशिक्षण के माध्यम से डोमेन-विशिष्ट जापानी बड़े भाषा मॉडल का निर्माण

बड़े भाषा मॉडल (LLMs) अब विभिन्न क्षेत्रों में, जैसे वित्त, में व्यापक रूप से उपयोग किए जाते हैं। हालांकि, जापानी वित्तीय-विशिष्ट LLMs अभी तक प्रस्तावित नहीं किए गए हैं। इसलिए, इस अध्ययन का लक्ष्य निरंतर पूर्व-प्रशिक्षण के माध्यम से एक जापानी वित्तीय-विशिष्ट LLM का निर्माण करना है। टेक्सट को ट्यून करने से पहले, हमने निरंतर पूर्व-प्रशिक्षण के लिए जापानी वित्तीय-केंद्रित डेटासेट बनाए। एक आधार मॉडल के रूप में, हमने एक जापानी LLM का उपयोग किया, जिसने 10 अरब-श्रेणी के पैरामीटर मॉडलों में जापानी वित्तीय बेंचमार्क पर सबसे अच्छा प्रदर्शन किया। डेटासेट और आधार मॉडल का उपयोग करके निरंतर पूर्व-प्रशिक्षण के बाद, ट्यून किया गया मॉडल जापानी वित्तीय बेंचमार्क पर मूल मॉडल की तुलना में बेहतर प्रदर्शन किया। इसके अलावा, आउटपुट की तुलना के परिणाम बताते हैं कि ट्यून किया गया मॉडल के आउटपुट मूल मॉडल के आउटपुट की तुलना में उत्तरों की गुणवत्ता और लंबाई के मामले में बेहतर होते हैं। ये निष्कर्ष संकेत करते हैं कि डोमेन-विशिष्ट निरंतर पूर्व-प्रशिक्षण भी LLMs के लिए प्रभावी है। ट्यून किया गया मॉडल सार्वजनिक रूप से हगिंग फेस पर उपलब्ध है.