फ्यू-शॉट इमेज कैप्शनिंग के लिए आत्म-डिस्टिलेशन

विशाल-स्तर के इमेज-कैप्शनिंग डेटासेट का विकास महंगा है, जबकि बिना जोड़े गए चित्रों और टेक्स्ट कॉर्पस की प्रचुरता मैनुअल एनोटेशन के प्रयासों को कम करने में मदद कर सकती है। इस पेपर में, हम फ्यू-शॉट इमेज कैप्शनिंग समस्या का अध्ययन करते हैं, जिसे केवल Annotated इमेज-कैप्शन जोड़ों की एक छोटी मात्रा की आवश्यकता होती है। हम एक समुच्चय-आधारित आत्म-डिस्टिलेशन विधि का प्रस्ताव करते हैं जो इमेज कैप्शनिंग मॉडलों को बिना जोड़े गए चित्रों और कैप्शनों के साथ प्रशिक्षित करने की अनुमति देती है। समुच्चय में विभिन्न डेटा नमूनों के साथ प्रशिक्षित कई आधार मॉडल शामिल होते हैं। बिना जोड़े गए चित्रों से सीखने के लिए, हम समुच्चय के साथ कई अनुकरणात्मक कैप्शन उत्पन्न करते हैं और उनके आत्मविश्वास स्तरों के अनुसार विभिन्न वज़न आवंटित करते हैं। बिना जोड़े गए कैप्शनों से सीखने के लिए, हम ग्रेडिएंट डेसेंट पर आधारित एक सरल लेकिन प्रभावी अनुकरणात्मक फीचर जनरेशन विधि का प्रस्ताव करते हैं। समुच्चय से प्राप्त अनुकरणात्मक कैप्शन और अनुकरणात्मक फीचर्स का उपयोग भविष्य के पुनरावृत्तियों में आधार मॉडलों को प्रशिक्षित करने के लिए किया जाता है। प्रस्तावित विधि विभिन्न इमेज कैप्शनिंग मॉडलों और डेटासेट के लिए सामान्य है। हमारे प्रयोग महत्वपूर्ण प्रदर्शन सुधार और केवल 1% युग्मित प्रशिक्षण डेटा के साथ उत्पन्न अर्थपूर्ण कैप्शनों को दिखाते हैं। स्रोत कोड https://github.com/chenxy99/SD-FSIC पर उपलब्ध है।