प्रक्षिप्ति सिर गुप्त रूप से जानकारी की बाधा है

हाल ही में, विपरीत शिक्षण एक संभावित दृष्टिकोण के रूप में उभरा है जो महत्वपूर्ण डेटा प्रतिनिधित्व निकालने के लिए है। विभिन्न विशेष डिजाइनों के बीच, प्रशिक्षण के दौरान एन्कोडर के शीर्ष पर एक प्रक्षिप्ति सिर जोड़ना और इसे डाउनस्ट्रीम कार्यों के लिए हटाना विपरीत शिक्षण के प्रदर्शन में महत्वपूर्ण सुधार करने में सिद्ध हुआ है। हालाँकि, इसके अनुभवजन्य सफलता के बावजूद, प्रक्षिप्ति सिर का अंतर्निहित तंत्र अभी भी अध-अन्वेषित है। इस पेपर में, हम सूचना-गणितीय दृष्टिकोण से प्रक्षिप्ति सिर की गहन सैद्धांतिक समझ विकसित करते हैं। प्रक्षिप्ति से पहले की विशेषताओं के डाउनस्ट्रीम प्रदर्शन पर सैद्धांतिक गारंटी स्थापित करके, हम प्रकट करते हैं कि एक प्रभावी प्रक्षिप्ति सिर को जानकारी की बाधा के रूप में कार्य करना चाहिए, जो विपरीत उद्देश्य के लिए अप्रासंगिक जानकारी को छानता है। सैद्धांतिक दृष्टिकोणों के आधार पर, हम प्रक्षिप्तियों में प्रशिक्षण और संरचनात्मक नियमितताओं के लिए संशोधन पेश करते हैं। अनुभव के अनुसार, हमारी विधियाँ विभिन्न वास्तविक विश्व डेटा सेटों, जिनमें CIFAR-10, CIFAR-100, और ImageNet-100 शामिल हैं, में डाउनस्ट्रीम प्रदर्शन में लगातार सुधार प्रदर्शित करती हैं। हमें विश्वास है कि प्रक्षिप्ति सिर की भूमिका पर हमारी सैद्धांतिक समझ इस क्षेत्र में और अधिक सुविज्ञ और उन्नत डिजाइनों को प्रेरित करेगी। कोड यहाँ उपलब्ध है: https://github.com/PKU-ML/ProjectorTheory.