EM-Trans: Kantensensitiver multimodaler Transformer zur Erkennung von RGB-D auffälligen Objekten

Die RGB-D Erkennung auffälliger Objekte (SOD) hat in den letzten Jahren enorme Aufmerksamkeit gewonnen. Insbesondere wurde der Transformer eingesetzt und hat großes Potenzial gezeigt. Allerdings vernachlässigen die bestehenden Transformer-Modelle normalerweise die wichtigen Kantendaten, was ein wesentliches Problem darstellt, das die weitere Verbesserung der SOD-Genauigkeit einschränkt. Zu diesem Zweck schlagen wir einen neuartigen kantensensitiven RGB-D SOD-Transformer vor, der die Kantendaten in einem Dualband-Dekompositionsrahmen explizit modelliert. Konkret verwenden wir zwei parallele Dekodierungsnetzwerke, um die hochfrequenten Kanten- und die niederfrequenten Körpermerkmale aus den hoch- und niederrangigen Merkmalen, die aus einem zweiströmigen multimodalen Rückgrat-Netzwerk extrahiert werden, zu lernen. Als Nächstes schlagen wir ein Modul zur Erkundung der Kreuzaufmerksamkeit und Komplementarität vor, um die Kanten-/Körpermerkmale durch Ausnutzung der multimodalen Komplementaritätsinformationen zu bereichern. Die verfeinerten Merkmale werden dann in unser vorgeschlagenes farbhinweisgeleitetes Fusionsmodul eingespeist, um das Tiefenmerkmal zu verbessern und die multimodalen Merkmale zu fusionieren. Schließlich werden die resultierenden Merkmale unter Verwendung unseres tief überwachten progressiven Fusionsmoduls fusioniert, das schrittweise Kanten- und Körpermerkmale integriert, um Salienzkarten vorherzusagen. Unser Modell berücksichtigt explizit die Kantendaten zur genauen RGB-D SOD, überwindet die Einschränkungen bestehender Methoden und verbessert effektiv die Leistung. Umfangreiche Experimente an Benchmark-Datensätzen zeigen, dass dies ein effektives RGB-D SOD-Framework ist, das die aktuellen Modelle der Spitzenklasse sowohl quantitativ als auch qualitativ übertrifft. Eine weitere Erweiterung auf RGB-T SOD zeigt das vielversprechende Potenzial unseres Modells in verschiedenen Arten von multimodalen SOD-Aufgaben.