स्पार्स ऑटोएन्कोडर्स का स्केलिंग और मूल्यांकन

स्पार्स ऑटोएन्कोडर्स एक आशाजनक अनुप्रवर्तित दृष्टिकोण प्रदान करते हैं, जो एक भाषा मॉडल से व्याख्यात्मक विशेषताओं को निकालने के लिए एक स्पार्स बॉटलनेक परत से सक्रियताओं को फिर से बनाने के द्वारा। चूंकि भाषा मॉडल कई अवधारणाओं को सीखते हैं, ऑटोएन्कोडर्स सभी प्रासंगिक विशेषताओं को पुनर्प्राप्त करने के लिए बहुत बड़े होने की आवश्यकता है। हालांकि, पुनर्निर्माण और स्पार्सिटी उद्देश्यों के बीच संतुलन बनाने की आवश्यकता और मृत लैटेंट्स की उपस्थिति के कारण ऑटोएन्कोडर स्केलिंग की संपत्तियों का अध्ययन करना मुश्किल है। हम सीधे स्पार्सिटी को नियंत्रित करने के लिए k-स्पार्स ऑटोएन्कोडर्स Makhzani और Frey, 2013 का उपयोग करने का प्रस्ताव करते हैं, जो ट्यूनिंग को सरल बनाता है और पुनर्निर्माण-स्पार्सिटी सीमा में सुधार करता है। इसके अतिरिक्त, हम कुछ संशोधन पाते हैं जो कि कोशिश किए गए सबसे बड़े पैमानों पर भी कम मृत लैटेंट्स का परिणाम देते हैं। इन तकनीकों का उपयोग करके, हम ऑटोएन्कोडर के आकार और स्पार्सिटी के संदर्भ में स्पष्ट स्केलिंग कानून पाते हैं। हम मान्य विशेषताओं की पुनर्प्राप्ति, सक्रियता पैटर्न की व्याख्याशीलता, और डाउनस्ट्रीम प्रभावों की स्पार्सिटी पर आधारित विशेषता गुणता के मूल्यांकन के लिए कई नए मैट्रिक्स भी पेश करते हैं। ये मैट्रिक्स सामान्यतः ऑटोएन्कोडर के आकार के साथ सुधार करते हैं। हमारे दृष्टिकोण की स्केलेबिलिटी को प्रदर्शित करने के लिए, हम 40 बिलियन टोकन्स के लिए GPT-4 सक्रियताओं पर 16 मिलियन लैटेंट ऑटोएन्कोडर को प्रशिक्षित करते हैं। हम ओपन-सोर्स मॉडलों के लिए प्रशिक्षण कोड और ऑटोएन्कोडर्स जारी करते हैं, साथ ही एक विज़ुअलाइज़र भी।