MambaReID: Nutzung von Vision Mamba für die multi-modale Objekt-Wiedererkennung

Die multi-modale Objekt-Wiedererkennung (ReID) ist eine anspruchsvolle Aufgabe, die darauf abzielt, Objekte über verschiedene Bildmodi hinweg zu identifizieren, indem sie deren komplementäre Informationen nutzt. Traditionelle CNN-basierte Methoden sind durch begrenzte Rezeptivfelder eingeschränkt, während transformerbasierte Ansätze durch hohe Rechenanforderungen und einen Mangel an konvolutionalen Verzerrungen behindert werden. Um diese Einschränkungen zu überwinden, schlagen wir ein neuartiges Fusionsframework namens MambaReID vor, das die Stärken beider Architekturen mit dem effektiven VMamba integriert. Konkret besteht unser MambaReID aus drei Komponenten: Three-Stage VMamba (TSV), Dense Mamba (DM) und Consistent VMamba Fusion (CVF). TSV erfasst effizient globale Kontextinformationen und lokale Details mit geringer rechnerischer Komplexität. DM verbessert die Merkmalsdiskriminierbarkeit, indem es intermodale Informationen vollständig integriert mit flachen und tiefen Merkmalen durch dichte Verbindungen. Darüber hinaus bietet CVF mit gut ausgerichteten multi-modalen Bildern eine granulare modale Aggregation und verbessert damit die Merkmalsrobustheit. Das MambaReID-Framework erreicht mit seinen innovativen Komponenten nicht nur überlegene Leistungen in multi-modalen Objekt-ReID-Aufgaben, sondern tut dies auch mit weniger Parametern und geringeren Rechenkosten. Die Effektivität unseres vorgeschlagenen MambaReID wird durch umfassende Experimente, die an drei multi-modalen Objekt-ReID-Benchmarks durchgeführt wurden, validiert.