Transformator auf Basis lokaler semantischer Merkmalsaggregation zur Klassifizierung hyperspektraler Bilder

Hyperspektrale Bilder (HSIs) enthalten reichhaltige Informationen in den räumlichen und spektralen Domänen, die eine präzise Charakterisierung von Materialkategorien ermöglichen. Convolutional Neural Networks (CNNs) haben in der Klassifizierung von HSIs große Erfolge erzielt, dank ihrer hervorragenden Fähigkeit zur lokalen Kontextmodellierung. jedoch leidet die CNNs unter festen Filtergewichten und tiefen konvolutionalen Schichten, die zu einem begrenzten Empfangsfeld und einer hohen rechnerischen Belastung führen. Die kürzlich vorgestellten Vision Transformer (ViT) Modelle modellieren Langstreckenabhängigkeiten mit einem Selbstaufmerksamkeitsmechanismus und sind eine alternative Grundlage zu den traditionell in der HSI-Klassifizierung verwendeten CNNs. Solche transformerbasierten Architekturen betrachten jedoch alle Eingabepixel des Empfangsfeldes als Merkmals-Tokens in Bezug auf Merkmals-Einbettung und Selbstaufmerksamkeit, was zwangsläufig die Fähigkeit einschränkt, multiskalare Merkmale zu lernen, und die Rechenkosten erhöht. Um dieses Problem zu überwinden, schlagen wir eine Architektur des auf lokaler semantischer Merkmalsaggregation basierenden Transformers (LSFAT) vor, die es Transformatoren ermöglicht, Langstreckenabhängigkeiten multiskalärer Merkmale effizienter darzustellen. Wir führen das Konzept der homogenen Region in den Transformator ein, indem wir eine Pixelaggregationstrategie in Betracht ziehen, und schlagen weiter Nachbarschaftsaggregationsbasierte Einbettungs- (NAE) und Aufmerksamkeits- (NAA) Module vor, die in der Lage sind, adaptiv multiskalare Merkmale zu bilden und lokal räumliche Semantiken innerhalb einer hierarchischen Transformatorarchitektur einzufangen. Ein wiederverwendbares Klassifikationstoken wird zusammen mit den Merkmals-Tokens in die Berechnung der Aufmerksamkeit einbezogen. Im letzten Schritt wird eine voll verbundene Schicht verwendet, um die Klassifizierung auf dem wiederverwendbaren Token nach der Transformator-Encoding durchzuführen. Wir verifizieren die Effektivität der NAE- und NAA-Module im Vergleich zum traditionellen ViT durch umfangreiche Experimente. Unsere Ergebnisse zeigen die hervorragende Klassifikationsleistung der vorgeschlagenen Methode im Vergleich zu anderen State-of-the-Art Ansätzen auf mehreren öffentlichen HSIs.