ट्रेनिंग कंप्यूट-ऑप्टिमल बड़े भाषा मॉडल

हम एक दिए गए कंप्यूट बजट के तहत एक ट्रांसफॉर्मर भाषा मॉडल को प्रशिक्षित करने के लिए आदर्श मॉडल आकार और टोकन की संख्या की जांच करते हैं। हमें पता चलता है कि वर्तमान बड़े भाषा मॉडल महत्वपूर्ण रूप से अध-प्रशिक्षित हैं, जो हाल ही में भाषा मॉडल का स्केल बढ़ाने पर ध्यान केंद्रित करने का परिणाम है जबकि प्रशिक्षण डेटा की मात्रा को स्थिर रखा गया है। 70 मिलियन से लेकर 16 अरब से अधिक पैरामीटर वाले 400 से अधिक भाषा मॉडल को 5 से 500 अरब टोकन तक प्रशिक्षित करके, हम पाते हैं कि कंप्यूट-ऑप्टिमल प्रशिक्षण के लिए, मॉडल का आकार और प्रशिक्षण टोकन की संख्या समान रूप से बढ़ाई जानी चाहिए: मॉडल आकार के हर दोगुने होने पर प्रशिक्षण टोकन की संख्या भी दोगुनी होनी चाहिए। हम इस परिकल्पना का परीक्षण करते हुए एक अनुमानित कंप्यूट-ऑप्टिमल मॉडल, चिचिला, को प्रशिक्षित करते हैं, जो गोफर के समान कंप्यूट बजट का उपयोग करता है लेकिन 70B पैरामीटर और बहुत अधिक डेटा के साथ। चिचिला व्यापक और महत्वपूर्ण रूप से गोफर (280B), GPT-3 (175B), जुरासिक-1 (178B), और मेगाट्रॉन-ट्यूरिंग NLG (530B) की तुलना में कई डाउनस्ट्रीम मूल्यांकन कार्यों में बेहतर प्रदर्शन करता है। इसका यह भी अर्थ है कि चिचिला फाइन-ट्यूनिंग और इंफेरेंस के लिए काफी कम कंप्यूट उपयोग करता है, जिससे डाउनस्ट्रीम उपयोग बहुत सुगम होता है। विशेष रूप से, चिचिला MMLU बेंचमार्क पर 67.5% की स्टेट-ऑफ-द-आर्ट औसत सटीकता प्राप्त करता है, जो गोफर के मुकाबले 7% से अधिक सुधार है।