RSVG: Untersuchung von Daten und Modellen zur visuellen Verankerung in Fernerkundungsdaten

In diesem Artikel stellen wir die Aufgabe der visuellen Verankerung für Fernerkundungsdaten (RSVG) vor. RSVG zielt darauf ab, die genannten Objekte in Fernerkundungs-(RS)-Bildern mithilfe natürlicher Sprache zu lokalisieren. Um reichhaltige Informationen aus RS-Bildern mit natürlicher Sprache abzurufen, wurden viele Forschungsaufgaben wie visuelle Fragenbeantwortung zu RS-Bildern, Bildbeschriftung für RS-Bilder und Bild-Text-Retrieval für RS-Bilder intensiv untersucht. Die objektbezogene visuelle Verankerung in RS-Bildern ist jedoch noch unzureichend erforscht. Daher schlagen wir in dieser Arbeit vor, den Datensatz zu erstellen und Deep Learning-Modelle für die RSVG-Aufgabe zu erforschen. Konkret lassen sich unsere Beiträge wie folgt zusammenfassen. Erstens bauen wir die neue groß angelegte Benchmark für RSVG auf der Grundlage des Detection in Optical Remote Sensing (DIOR)-Datensatzes, genannt DIOR-RSVG, auf, um die Forschung zu RSVG vollständig voranzubringen. Dieser neue Datensatz umfasst Bild-/Ausdruck-/Kasten-Triplets zur Schulung und Bewertung visueller Verankerungsmodelle. Zweitens benchmarken wir umfangreiche state-of-the-art (SOTA) Methoden zur visuellen Verankerung natürlicher Bilder auf dem erstellten DIOR-RSVG-Datensatz, und einige aufschlussreiche Analysen werden auf der Grundlage der Ergebnisse bereitgestellt. Drittens wird ein neuartiges transformer-basiertes Modul zur multigranularen visuellen Sprachfusion (MGVLF) vorgeschlagen. Fernerkundete Bilder weisen in der Regel große Variationen und unordentliche Hintergründe auf. Um das Problem der Maßstabsvariation zu bewältigen, nutzt das MGVLF-Modul multiskalige visuelle Merkmale und multigranulare Text-Embeddings, um diskriminativere Darstellungen zu lernen. Um das Problem des unordentlichen Hintergrunds zu bewältigen, filtert MGVLF adaptiv irrelevantes Rauschen und verbessert markante Merkmale. Auf diese Weise kann unser vorgeschlagenes Modell effektivere mehrstufige und multimodale Merkmale integrieren, um die Leistung zu steigern. Diese Arbeit kann nützliche Einblicke in die Entwicklung besserer RSVG-Modelle bieten.