बड़े बैच प्रशिक्षण का एक अनुभवजन्य मॉडल

यह कई क्षेत्रों में प्रदर्शित किया गया है कि गहन शिक्षण मॉडल को अपेक्षाकृत बड़े बैच आकार का उपयोग करके प्रशिक्षित किया जा सकता है बिना डेटा की दक्षता को त्यागे। हालाँकि, इस विशाल डेटा समांतरता की सीमाएँ क्षेत्र के अनुसार भिन्न प्रतीत होती हैं, जो ImageNet में दसियों हजार बैचों से लेकर Dota 2 खेलते समय RL एजेंटों में लाखों बैचों तक फैली हुई हैं। हमारे ज्ञान के अनुसार, बैच आकार की इन सीमाओं में भिन्नता के कारणों या नए क्षेत्र में सही बैच आकार का चयन करने के तरीके के बारे में सीमित वैचारिक समझ है। इस पेपर में, हम यह प्रदर्शित करते हैं कि एक सरल और आसानी से मापी जाने वाली सांख्यिकी जिसे ग्रेडिएंट नॉइज़ स्केल कहा जाता है, कई क्षेत्रों और अनुप्रयोगों में सबसे बड़े उपयोगी बैच आकार की भविष्यवाणी करता है, जिसमें कई अधिगम निर्देशित डेटासेट (MNIST, SVHN, CIFAR-10, ImageNet, Billion Word), पुनर्बलन अधिगम क्षेत्रों (Atari और Dota), और यहां तक कि जनरेटिव मॉडल प्रशिक्षण (SVHN पर ऑटोएन्कोडर्स) शामिल हैं। हमें यह पता चला है कि नॉइज़ स्केल प्रशिक्षण के दौरान हानि के घटने के साथ बढ़ता है और यह मुख्य रूप से मॉडल के प्रदर्शन में सुधार के माध्यम से मॉडल के आकार पर निर्भर करता है। हमारा अनुभवजन्य-प्रेरित सिद्धांत भी कंप्यूट-क्षमता और समय-क्षमता के बीच व्यापार संतुलन का वर्णन करता है, और अनुकूलनीय बैच आकार प्रशिक्षण के लाभों का एक मोटा मॉडल प्रदान करता है।