OccMamba: राज्य स्थान मॉडल के साथ सांकेतिक जनसंख्या भविष्यवाणी

सांकेतिक जनसंख्या भविष्यवाणी के लिए गहन शिक्षण मॉडल का प्रशिक्षण कई कारकों के कारण चुनौतीपूर्ण है, जैसे कि जनसंख्या कोशिकाओं की बड़ी संख्या, गंभीर अपर्णन, सीमित दृश्य संकेत, जटिल ड्राइविंग परिदृश्यों आदि। हाल की विधियाँ आमतौर पर ट्रांसफार्मर-आधारित आर्किटेक्चर को अपनाती हैं क्योंकि इनकी इनपुट-शर्तित वजन और दीर्घकालिक संबंधों को सीखने की क्षमता मजबूत होती है। हालाँकि, ट्रांसफार्मर-आधारित नेटवर्क अपनी गुणात्मक गण computation जटिलता के लिए कुख्यात हैं, जो सांकेतिक जनसंख्या भविष्यवाणी में उनकी प्रभावशीलता और तैनाती को गंभीर रूप से कमजोर करता है। मम्बा आर्किटेक्चर की वैश्विक मॉडलिंग और रैखिक गण computation जटिलता से प्रेरित होकर, हम सांकेतिक जनसंख्या भविष्यवाणी के लिए पहला मम्बा-आधारित नेटवर्क प्रस्तुत करते हैं, जिसे OccMamba कहा जाता है। हालाँकि, जनसंख्या भविष्यवाणी कार्य में सीधे मम्बा आर्किटेक्चर का उपयोग करने पर भाषाई और 3D डोमेन के बीच स्वाभाविक क्षेत्र अंतर के कारण संतोषजनक प्रदर्शन नहीं मिलता है। इस समस्या को हल करने के लिए, हम एक सरल लेकिन प्रभावी 3D-से-1D पुनर्व्यवस्थापन ऑपरेशन प्रस्तुत करते हैं, अर्थात्, ऊँचाई-प्राथमिकता वाला 2D हिल्बर्ट विस्तार। यह बिंदु बादलों की सांस्थानिक संरचना को अधिकतम रूप से बनाए रख सकता है और मम्बा ब्लॉक्स के प्रसंस्करण को सुगम बना सकता है। हमारा OccMamba OpenOccupancy, SemanticKITTI और SemanticPOSS सहित तीन प्रमुख जनसंख्या भविष्यवाणी बेंचमार्क पर उच्चतम प्रदर्शन प्राप्त करता है। विशेष रूप से, OpenOccupancy पर, हमारा OccMamba पिछले के सर्वोत्तम Co-Occ की तुलना में क्रमशः 3.1% IoU और 3.2% mIoU द्वारा बेहतर प्रदर्शन करता है। कोड प्रकाशन पर जारी किए जाएंगे।