Abfragegesteuertes Prototyp-Evolutionsnetzwerk für Few-Shot-Segmentierung

Frühere Ansätze zur Few-Shot-Segmentierung (FSS) nutzen ausschließlich Unterstützungsmerkmale zur Prototypgenerierung und vernachlässigen die spezifischen Anforderungen der Abfrage. Um dies zu adressieren, präsentieren wir das Abfragegesteuerte Prototyp-Evolutionsnetzwerk (QPENet), eine neue Methode, die Abfragemerkmale in den Generierungsprozess von Vordergrund- und Hintergrundprototypen integriert und so maßgeschneiderte Prototypen liefert, die auf spezifische Abfragen abgestimmt sind. Die Evolution des Vordergrundprototyps erfolgt durch einen unterstützenden Abfrage-Unterstützungs-iterativen Prozess, der zwei neue Module umfasst: Pseudo-Prototyp-Generierung (PPG) und Duale Prototyp-Evolution (DPE). Das PPG-Modul verwendet Unterstützungsmerkmale, um einen initialen Prototyp für die vorläufige Segmentierung des Abbilds zu erstellen, was zu einem Pseudo-Prototyp führt, der die einzigartigen Bedürfnisse der aktuellen Abfrage widerspiegelt. Anschließend führt das DPE-Modul eine umgekehrte Segmentierung auf Unterstützungsbildern unter Verwendung dieses Pseudo-Prototyps durch, was zur Generierung evolvierter Prototypen führt, die als maßgeschneiderte Lösungen betrachtet werden können. Was den Hintergrundprototyp betrifft, beginnt die Evolution mit einem globalen Hintergrundprototyp, der die verallgemeinerten Merkmale aller Trainingsbilder repräsentiert. Wir entwerfen auch ein Global Background Cleansing (GBC)-Modul, um potenzielle nachteilige Komponenten zu beseitigen, die die Eigenschaften der aktuellen Vordergrundklasse spiegeln. Experimentelle Ergebnisse auf den PASCAL-5ⁱ- und COCO-20ⁱ-Datensätzen bestätigen die erheblichen Verbesserungen, die QPENet im Vergleich zu den bestehenden hochmodernen Techniken erzielt hat, und unterstreichen die Gültigkeit unserer Ideen.