विजुअल ट्रांसफार्मर्स का सर्वेक्षण

ट्रांसफार्मर, एक ध्यान आधारित एनकोडर-डिकोडर मॉडल, पहले से ही प्राकृतिक भाषा प्रसंस्करण (NLP) के क्षेत्र में क्रांति ला चुका है। ऐसे महत्वपूर्ण उपलब्धियों से प्रेरित होकर, हाल ही में कंप्यूटर विज़न (CV) क्षेत्र में ट्रांसफार्मर-समान आर्किटेक्चर के उपयोग पर कुछ पायनियरिंग काम किए गए हैं, जिन्होंने तीन मौलिक CV कार्यों (वर्गीकरण, पहचान, और विभाजन) के साथ-साथ विभिन्न संवेदनशील डेटा स्ट्रीम (छवियां, बिंदु बादल, और दृष्टि-भाषा डेटा) पर अपनी प्रभावशीलता का प्रदर्शन किया है। उनकी प्रतिस्पर्धात्मक मॉडलिंग क्षमताओं के कारण, विजुअल ट्रांसफार्मर्स ने आधुनिक कन्वोल्यूशन न्यूरल नेटवर्क्स (CNNs) की तुलना में कई बेंचमार्क पर प्रभावशाली प्रदर्शन सुधार हासिल किया है। इस सर्वेक्षण में, हमने तीन मौलिक CV कार्यों और विभिन्न डेटा स्ट्रीम प्रकारों के अनुसार 100 से अधिक विभिन्न विजुअल ट्रांसफार्मर्स का समग्र रूप से समीक्षा की है, जहां उनके प्रेरणाओं, संरचनाओं, और अनुप्रयोग परिदृश्यों के अनुसार प्रतिनिधि विधियों को व्यवस्थित करने के लिए श्रेणी प्रस्तावित की गई है। उनके प्रशिक्षण सेटिंग्स और समर्पित दृष्टि कार्यों में भिन्नताओं के कारण, हमने विभिन्न कॉन्फ़िगरेशन के तहत सभी मौजूदा विजुअल ट्रांसफार्मर्स का मूल्यांकन और तुलना भी की है। इसके अलावा, हमने कुछ आवश्यक लेकिन अनुप Exploit किए गए पहलुओं को उजागर किया है जो इन विजुअल ट्रांसफार्मर्स को कई आर्किटेक्चर से अलग खड़ा कर सकते हैं, जैसे कि विजुअल ट्रांसफार्मर्स और अनुक्रमिक ट्रांसफार्मर्स के बीच की खाई को पाटने के लिए शानदार उच्च-स्तरीय अर्थपूर्ण एम्बेडिंग। अंत में, भविष्य के निवेश के लिए दो संभावित शोध दिशाएं सुझाई गई हैं। हम https://github.com/liuyang-ict/awesome-visual-transformers पर नवीनतम लेख और उनके प्रकाशित स्रोत कोड को अपडेट करते रहेंगे।