MDNet: Mamba-effizientes Diffusions-Destillationsnetzwerk für RGB-thermische urbane dichte Vorhersage

In den letzten Jahren wurden erhebliche Fortschritte bei urbanen dichten Vorhersageaufgaben erzielt, insbesondere durch Fortschritte bei Deep-Learning-Modellen und neuartigen Architekturen, die die Segmentierungsgenauigkeit und die rechnerische Effizienz verbessern. Dennoch bestehen folgende Herausforderungen: i) Bestehende Modal-Fusionsmethoden verwenden typischerweise konvolutionale neuronale Netze (CNNs) oder transformatorbasierte Methoden, was zu unzureichender globaler Modellierung oder übermäßigen Berechnungen aufgrund der Einführung quadratischer Komplexitätsmodellierung führt; und ii) bestehende dichte Vorhersagenetzwerke nutzen typischerweise diskriminerende Netzwerke (Codecs), was zu Netzwerken mit unzureichenden diskriminierenden Eigenschaften führt. Um diese Probleme zu lösen, schlagen wir das Mamba-effektive Diffusions-Destillationsnetzwerk (MDNet) für RGB-thermische urbane dichte Vorhersage vor. Zunächst wird ein neues Mamba-effizientes Fusionsmodul vorgeschlagen, das lange pixelbasierte Merkmale effizient modelliert und pixelweise adaptive Gewichte generiert, um komplementäre Modalinformationen vollständig zu nutzen. Zweitens wird inspiriert von menschlicher Selbstreflexion eine neue Diffusions-Selbstdestillationsstrategie (DSD) vorgeschlagen. Die DSD erzeugt grobkörnige binäre semantische Informationen durch bedingte multimodale Bilddiffusion, die als Selbstdestillationslabels dienen, um die diskriminierenden Eigenschaften des Netzwerks zu verbessern. Experimentelle Ergebnisse zeigen, dass das vorgeschlagene MDNet eine State-of-the-Art-Leistung auf dem MFNet-Datensatz mit weniger Parametern und reduziertem Rechenaufwand erzielt. Erweiterte Experimente auf dem PST900-Datensatz verdeutlichen weiter die Wirksamkeit und Generierbarkeit von MDNet. Der Quellcode und die Ergebnisse sind verfügbar unter https://github.com/Tortoisewhp/MDNet.