दृश्य राज्य स्थान मॉडल की मजबूती की आंकलन की ओर

दृश्य राज्य स्थान मॉडल (VSSMs), एक अभिनव संरचना जो पुनरावृत्त तंत्रिका नेटवर्क और निहित चर मॉडलों की ताकत को संयोजित करती है, ने लंबे समय से निर्भरता को कुशलतापूर्वक कैद करने और जटिल दृश्य गतिशीलता को मॉडल करने के लिए दृश्य पहचान कार्यों में असाधारण प्रदर्शन दिखाया है। हालांकि, प्राकृतिक और प्रतिकूल उतार-चढ़ाव के तहत उनकी मजबूती एक महत्वपूर्ण चिंता बनी हुई है। इस कार्य में, हम विभिन्न उतार-चढ़ाव परिदृश्यों, जैसे कि अवरोध, छवि संरचना, सामान्य भ्रष्टाचार, और प्रतिकूल हमलों के तहत VSSMs की मजबूती का एक व्यापक मूल्यांकन प्रस्तुत करते हैं, और उनके प्रदर्शन की तुलना अन्य स्थापित संरचनाओं जैसे ट्रांसफार्मर्स और कन्वोल्यूशनल न्यूरल नेटवर्क से करते हैं। इसके अतिरिक्त, हम जटिल दृश्य दृश्यों में मॉडल प्रदर्शन का परीक्षण करने के लिए डिज़ाइन किए गए परिष्कृत बेंचमार्क पर वस्तु-भूमिका संघटनात्मक परिवर्तनों के लिए VSSMs की सहनशीलता की जांच करते हैं। हम वास्तविक दुनिया के परिदृश्यों को की नकल करने वाले भ्रष्ट डेटा सेट का उपयोग करके वस्तु पहचान और खंडन कार्यों पर उनकी मजबूती का भी आकलन करते हैं। VSSMs की प्रतिकूल मजबूती की गहरी समझ प्राप्त करने के लिए, हम प्रतिकूल हमलों का एक आवृत्ति विश्लेषण करते हैं, जो उनके प्रदर्शन का निम्न आवृत्ति और उच्च आवृत्ति उतार-चढ़ाव के खिलाफ मूल्यांकन करते हैं। हमारे निष्कर्ष VSSMs की जटिल दृश्य भ्रष्टाचार को संभालने में ताकत और सीमाओं को उजागर करते हैं, जो इस आशाजनक क्षेत्र में भविष्य के अनुसंधान और सुधार के लिए मूल्यवान अंतर्दृष्टि प्रदान करते हैं। हमारा कोड और मॉडल https://github.com/HashmatShadab/MambaRobustness पर उपलब्ध होंगे।