SSNet: Ein neuartiges Hybridnetzwerk aus Transformer und CNN für die semantische Segmentierung in der Fernerkundung

Es gibt immer noch verschiedene Herausforderungen in der semantischen Segmentierung der Fernerkundung aufgrund der Vielfalt und Komplexität der Objekte. Transformer-basierte Modelle haben ermutigende Ergebnisse in der semantischen Segmentierung erzielt, die beträchtliche Vorteile bei der Erfassung globaler Merkmalsabhängigkeiten bieten. Leider ignoriert es jedoch lokale Merkmalsdetails. Auf der anderen Seite erfasst das Convolutional Neural Network (CNN), mit einem anderen Interaktionsmechanismus als die Transformer-basierten Modelle, mehr kleine lokale Merkmale, hat jedoch Schwierigkeiten bei der Erfassung globaler Merkmale. In diesem Papier wird ein neues Rahmenwerk für die semantische Segmentierung namens SSNet vorgeschlagen, das eine Encoder-Decoder-Struktur integriert und die Vorteile sowohl lokaler als auch globaler Merkmale optimiert. Darüber hinaus bauen wir das Feature Fuse Module (FFM) und das Feature Inject Module (FIM), um diese beiden Stilmerkmale weitgehend zu fusionieren. Das erste Modul erfasst die Abhängigkeiten zwischen verschiedenen Positionen und Kanälen, um mehrskalige Merkmale zu extrahieren, was die Segmentierungsgenauigkeit bei ähnlichen Objekten fördert. Das letzte Modul kondensiert die globalen Informationen im Transformer und injiziert sie in das CNN, um ein breites globales Sichtfeld zu erhalten, in dem die tiefen strip convolution die Segmentierungsgenauigkeit bei kleinen Objekten verbessert. Ein auf CNN basierender Decoder stellt schrittweise die Größe der Merkmalskarte wieder her, und ein Block namens atrous spatial pyramid pooling (ASPP) wird im Decoder verwendet, um einen mehrskaligen Kontext zu erlangen. Die Skip-Verbindung wird zwischen dem Decoder und dem Encoder hergestellt, die wichtige Merkmalsinformationen des flachen Schichtnetzes beibehält und dazu beiträgt, den Fluss mehrskaliger Merkmale zu erreichen. Um unser Modell zu evaluieren, vergleichen wir es mit aktuellen hochmodernen Modellen auf den WHDLD- und Potsdam-Datensätzen. Die experimentellen Ergebnisse zeigen, dass unser vorgeschlagenes Modell eine präzisere semantische Segmentierung erreicht. Der Code dieser Arbeit kann heruntergeladen werden unter https://github.com/stu-yzZ/SSNet.