Raum-Spektral-Transformer mit Kreuz-Attention zur Klassifizierung hyperspektraler Bilder

Faltungsneuronale Netze (CNNs) wurden aufgrund ihrer hervorragenden Fähigkeiten zur lokalen räumlichen Merkmalsgewinnung weitgehend in Klassifizierungsaufgaben für hyperspektrale Bilder (HSI) eingesetzt. Da es jedoch schwierig ist, Abhängigkeiten zwischen langen Datenfolgen für CNNs herzustellen, gibt es Einschränkungen im Prozess der Verarbeitung hyperspektraler Spektralsequenzmerkmale. Um diese Einschränkungen zu überwinden, wurde inspiriert vom Transformer-Modell eine Methode entwickelt, die raum-spektralen Transformer mit Kreuz-Attention (CASST) verwendet. Insgesamt besteht die Methode aus einer Dual-Branch-Struktur, d.h. räumlichen und spektralen Sequenzzweigen. Der erstgenannte wird verwendet, um feingranulare räumliche Informationen von HSI zu erfassen, während letzterer zur Extraktion der spektralen Merkmale und zur Herstellung von Abhängigkeiten zwischen spektralen Sequenzen eingesetzt wird. Um die Konsistenz unter den Merkmalen zu erhöhen und die Berechnungsbelastung zu verringern, entwerfen wir ein raum-spektrales Kreuz-Attention-Modul mit gewichteter Teilung, um das interaktive raum-spektrale Fusionsmerkmal innerhalb des Transformer-Blocks zu extrahieren, während auch ein Mechanismus für gewichtete Teilung entwickelt wird, um das robuste semantische Merkmal zwischen den Transformer-Blöcken zu erfassen. Leistungsevaluationsexperimente werden an drei hyperspektralen Klassifizierungsdatasets durchgeführt, die zeigen, dass die CASST-Methode eine bessere Genauigkeit als die aktuellsten Transformer-Klassifizierungsmodelle und die gängigen Klassifizierungsnetzwerke erreicht.