Key points are not available for this paper at this time.
Die reichhaltigen spektralen Signaturen und räumlichen Kontexte werden effektiv als Schlüssel zur Klassifikation hyperspektraler Bilder (HSI) genutzt. Bestehende konvolutionale neuronale Netzwerke (CNNs) konzentrieren sich nur auf lokale räumliche Kontextinformationen und haben nicht die Fähigkeit, globale spektrale Sequenzdarstellungen zu lernen, während der Transformator sich gut darin schlägt, die globale Abhängigkeit sequenzieller Daten zu lernen. Um dieses Problem zu lösen, schlagen wir inspiriert durch den Transformator einen interaktiven globalen spektralen und lokalen räumlichen Merkmalsfusions-Transformator namens ISSFormer vor. Konkret erreichen wir eine elegante Integration von Selbstaufmerksamkeit und Konvolution in einem parallelen Design, d.h. dem Mehrkopf-Selbstaufmerksamkeitsmechanismus (MHSA) und dem lokalen räumlichen Wahrnehmungsmechanismus (LSP). ISSFormer kann sowohl lokale räumliche Merkmalsdarstellungen als auch globale spektrale Merkmalsdarstellungen gleichzeitig lernen. Noch bedeutender ist, dass wir einen bidirektionalen Interaktionsmechanismus (BIM) von Merkmalen über den parallelen Zweig vorschlagen, um ergänzende Hinweise zu liefern. Die lokalen räumlichen Merkmale und die globalen spektralen Merkmale interagieren durch den BIM, was die lokalen räumlichen Details betonen und räumliche Einschränkungen hinzufügen kann, um spektrale Variabilität zu überwinden, und die Klassifikationsleistung weiter verbessern kann. Mit umfangreichen Experimenten an drei Benchmark-Datensätzen, einschließlich Indian Pines, Pavia University und WHU-Hi-HanChuan, kann ISSFormer eine überlegene Klassifikationsgenauigkeit und Visualisierungsleistung erreichen.
Song et al. (Wed,) haben diese Frage untersucht.