DeepSeek-V3 तकनीकी रिपोर्ट

हम DeepSeek-V3 प्रस्तुत करते हैं, जो 671B कुल पैमाने के साथ एक मजबूत मिश्रण-ऑफ-एक्सपर्ट्स (MoE) भाषा मॉडल है, जिसमें प्रत्येक टोकन के लिए 37B सक्रिय होते हैं। कुशल अनुमान और लागत-कुशल प्रशिक्षण प्राप्त करने के लिए, DeepSeek-V3 मल्टी-हेड लेटेंट अटेंशन (MLA) और DeepSeekMoE आर्किटेक्टर्स को अपनाता है, जिन्हें DeepSeek-V2 में पूरी तरह से मान्य किया गया था। इसके अलावा, DeepSeek-V3 लोड संतुलन के लिए सहायक-नुकसान-मुक्त रणनीति की पहल करता है और मजबूत प्रदर्शन के लिए एक बहु-टोकन पूर्वानुमान प्रशिक्षण उद्देश्य सेट करता है। हम 14.8 ट्रिलियन विभिन्न और उच्च गुणवत्ता वाले टोकनों पर DeepSeek-V3 को पूर्व-प्रशिक्षित करते हैं, इसके बाद पर्यवेक्षी सूक्ष्म-समायोजन और सुदृढीकरण सीखने के चरण आते हैं ताकि इसकी क्षमताओं का पूर्ण रूप से उपयोग किया जा सके। व्यापक मूल्यांकन यह दर्शाते हैं कि DeepSeek-V3 अन्य ओपन-सोर्स मॉडलों को पीछे छोड़ देता है और प्रमुख बंद-स्रोत मॉडलों के समकक्ष प्रदर्शन प्राप्त करता है। अपनी उत्कृष्ट प्रदर्शन के बावजूद, DeepSeek-V3 को अपने पूर्ण प्रशिक्षण के लिए केवल 2.788M H800 GPU घंटे की आवश्यकता होती है। इसके अतिरिक्त, इसकी प्रशिक्षण प्रक्रियाRemarkable stable है। पूरे प्रशिक्षण प्रक्रिया के दौरान, हमें कोई अप्रत्याशित हानि स्पाइक्स का अनुभव नहीं हुआ या किसी भी रोलबैक का प्रदर्शन नहीं किया गया। मॉडल चेकपॉइंट्स https://github.com/deepseek-ai/DeepSeek-V3 पर उपलब्ध हैं।