Schwach überwachte semantische Segmentierung durch iteratives Mining gemeinsamer Objektmerkmale

Schwach überwachte semantische Segmentierung unter der Aufsicht von Bild-Tags ist eine herausfordernde Aufgabe, da sie hochgradig semantische Informationen direkt mit niedriggradigem Erscheinungsbild verknüpft. Um diese Lücke zu schließen, schlagen wir in diesem Papier ein iteratives Bottom-up- und Top-down-Framework vor, das alternativ Objektregionen erweitert und das Segmentierungsnetzwerk optimiert. Wir beginnen mit der initialen Lokalisierung, die von Klassifikationsnetzwerken erzeugt wird. Während Klassifikationsnetzwerke nur auf kleine und grobe diskriminative Objektregionen reagieren, argumentieren wir, dass diese Regionen signifikante gemeinsame Merkmale über Objekte enthalten. Im Bottom-up-Schritt extrahieren wir daher gemeinsame Objektmerkmale aus der initialen Lokalisierung und erweitern die Objektregionen mit den abgebauten Merkmalen. Um nicht-diskriminative Regionen zu ergänzen, werden dann Salienz-Karten unter einem bayesischen Rahmen berücksichtigt, um die Objektregionen zu verfeinern. Im Top-down-Schritt werden dann die verfeinerten Objektregionen als Aufsicht genutzt, um das Segmentierungsnetzwerk zu trainieren und Objektmasken vorherzusagen. Diese Objektmasken bieten eine genauere Lokalisierung und enthalten mehr Regionen des Objekts. Darüber hinaus nehmen wir diese Objektmasken als initiale Lokalisierung und extrahieren gemeinsame Objektmerkmale daraus. Diese Prozesse werden iterativ durchgeführt, um schrittweise feine Objektmasken zu erzeugen und Segmentierungsnetzwerke zu optimieren. Experimentelle Ergebnisse auf dem Pascal VOC 2012-Datensatz zeigen, dass die vorgeschlagene Methode frühere state-of-the-art Methoden bei weitem übertrifft.