RanPAC: लगातार सीखने के लिए यादृच्छिक प्रक्षिप्तियाँ और पूर्व-प्रशिक्षित मॉडल

लगातार सीखना (CL) विभिन्न कार्यों (जैसे वर्गीकरण) को एक गैर-स्थायी डेटा स्ट्रीम में क्रमिक रूप से सीखने का प्रयास करता है, बिना पुराने को भुलाए। अधिकांश CL कार्य 'जीरो से सीखने' के परिप्रेक्ष्य मेंcatastrophic भूलने' से निपटने पर ध्यान केंद्रित करते हैं। हालाँकि, नींव मॉडल की बढ़ती प्रमुखता के साथ, सूचनात्मक प्रतिनिधित्वों से सुसज्जित पूर्व-प्रशिक्षित मॉडल विभिन्न डाउनस्ट्रीम आवश्यकताओं के लिए उपलब्ध हो गए हैं। पूर्व-प्रशिक्षित मॉडलों पर आधारित कई CL विधियों का अन्वेषण किया गया है, या तो सीधे पूर्व-निकाले गए विशेषताओं का उपयोग करते हुए (जो वितरण अंतराल को पाटने में चुनौतीपूर्ण बनाता है) या अडाप्टर्स को शामिल करते हुए (जो भूलने के अधीन हो सकते हैं)। इस पेपर में, हम पूर्व-प्रशिक्षित मॉडलों के साथ CL के लिए एक संक्षिप्त और प्रभावी दृष्टिकोण प्रस्तावित करते हैं। चूंकि भूलना पैरामीटर अपडेट करते समय होता है, हम एक वैकल्पिक दृष्टिकोण पर विचार करते हैं जो प्रशिक्षण-मुक्त यादृच्छिक प्रक्षिप्तों और वर्ग-प्रोटोटाइप संचय का लाभ उठाता है, जिससे इस मुद्दे से बचा जाता है। विशेष रूप से, हम पूर्व-प्रशिक्षित मॉडल के विशेषता प्रतिनिधित्व और आउटपुट हेड के बीच बिना बदलाव की यादृच्छिक प्रक्षिप्ति परत को गैर-रेखीय सक्रियण के साथ समाविष्ट करते हैं, जो विस्तारित आयामीकरण के साथ विशेषताओं के बीच इंटरैक्शन को पकड़ता है, वर्ग-प्रोटोटाइप आधारित CL के लिए बेहतर रेखीय पृथक्करण प्रदान करता है। हम यह भी प्रदर्शित करते हैं कि पूर्व-प्रशिक्षित प्रतिनिधित्वों का उपयोग करते समय वर्ग-प्रोटोटाइप को डेकोरिलेट करने का महत्व वितरण मतभेद को कम करने के लिए। ये तकनीकें प्रभावी साबित होती हैं और वर्ग और डोमेन-इंक्रीमेंटल लगातार सीखने के लिए भूलने की समस्या को प्रतिसादित करती हैं। पूर्व-प्रशिक्षित ViT-B/16 मॉडलों पर लागू पिछले तरीकों की तुलना में, हम सात वर्ग-इंक्रीमेंटल बेंचमार्क पर अंतिम त्रुटि दरों को 20% से 62% के बीच कम करते हैं, हालाँकि हम किसी भी अभ्यास मेमोरी का उपयोग नहीं करते हैं। हम निष्कर्ष निकालते हैं कि सरल, प्रभावी, और तेज CL के लिए पूर्व-प्रशिक्षित मॉडलों की पूर्ण क्षमता अभी तक पूरी तरह से नहीं खोजी गई है। कोड github.com/RanPAC/RanPAC पर है।