RSCaMa: Fernsensorbildänderung Beschriftung mit Zustandsraummodell

Die Fernsensorbildänderung Beschriftung (RSICC) zielt darauf ab, Oberflächenänderungen zwischen multi-temporalen Fernerkundungsbildern in Sprache zu beschreiben, einschließlich der geänderten Objektkategorien, Standorte und Dynamiken der sich ändernden Objekte (z. B. hinzugefügte oder verschwundene). Dies stellt Herausforderungen für die räumliche und zeitliche Modellierung bi-temporaler Merkmale dar. Trotz der Fortschritte früherer Methoden in der räumlichen Änderungswahrnehmung gibt es immer noch Schwächen in der gemeinsamen räumlich-zeitlichen Modellierung. Um dies zu adressieren, schlagen wir in diesem Papier ein neuartiges RSCaMa-Modell vor, das eine effiziente gemeinsame räumlich-zeitliche Modellierung durch mehrere CaMa-Schichten erreicht und eine iterative Verfeinerung bi-temporaler Merkmale ermöglicht. Um eine effiziente räumliche Modellierung zu erreichen, führen wir das kürzlich beliebte Mamba (ein Zustandsraummodell) mit einem globalen Rezeptivfeld und linearer Komplexität in die RSICC-Aufgabe ein und schlagen das Spatial Difference-aware SSM (SD-SSM) vor, das die Einschränkungen früherer CNN- und Transformer-basierter Methoden im Rezeptivfeld und in der rechnerischen Komplexität überwindet. SD-SSM verbessert die Fähigkeit des Modells, räumliche Veränderungen präzise zu erfassen. In Bezug auf eine effiziente zeitliche Modellierung schlagen wir, in Anbetracht der potenziellen Korrelation zwischen den zeitlichen Scaneigenschaften von Mamba und der Temporalität der RSICC, das Temporal-Traversing SSM (TT-SSM) vor, das bi-temporale Merkmale auf eine zeitlich kreuzweise Weise scannt und das zeitliche Verständnis sowie die Informationsinteraktion des Modells verbessert. Experimente validieren die Wirksamkeit der effizienten gemeinsamen räumlich-zeitlichen Modellierung und demonstrieren die herausragende Leistung von RSCaMa sowie das Potenzial von Mamba in der RSICC-Aufgabe. Darüber hinaus vergleichen wir systematisch drei verschiedene Sprachdecoder, darunter Mamba, GPT-Stil Decoder und Transformer-Decoder, und bieten wertvolle Einblicke für zukünftige RSICC-Forschung. Der Code wird verfügbar sein unter https://github.com/Chen-Yang-Liu/RSCaMa.