Nutzung von Hilfsaufgaben mit Affinitätslernen für schwach überwachte semantische Segmentierung

Die semantische Segmentierung ist eine anspruchsvolle Aufgabe in Abwesenheit dicht beschrifteter Daten. Das alleinige Verlassen auf Klassifikationsaktivierungskarten (CAM) mit bildbasierten Labels bietet unzureichende Segmentierungsüberwachung. Vorherige Arbeiten betrachten daher vortrainierte Modelle, um grobe Salienz-Karten zu erzeugen, die die Generierung von pseudo Segmentierungslabels leiten. Der häufig verwendete Offline-Heuristik-Generierungsprozess kann jedoch die Vorteile dieser groben Salienz-Karten nicht vollständig ausschöpfen. Motiviert durch die signifikante Interaufgaben-Korrelation schlagen wir ein neuartiges schwach überwacht multi-task Framework vor, das als AuxSegNet bezeichnet wird, um die Salienzdetektion und die Mehrfachklassifizierung von Bildern als Hilfsaufgaben zu nutzen, um die primäre Aufgabe der semantischen Segmentierung mithilfe nur von bildbasierten Ground-Truth-Labels zu verbessern. Inspiriert von ihrer ähnlichen strukturierten Semantik schlagen wir auch vor, eine zwischen den Aufgaben übergreifende globale Pixel- Affinitätskarte aus den Salienz- und Segmentierungsdarstellungen zu lernen. Die gelernte zwischen den Aufgaben übergreifende Affinität kann verwendet werden, um Salienzvorhersagen zu verfeinern und CAM-Karten zu propagieren, um verbesserte pseudo Labels für beide Aufgaben bereitzustellen. Der gegenseitige Antrieb zwischen der Aktualisierung von pseudo Labels und dem Lernen von zwischen den Aufgaben übergreifender Affinität ermöglicht iterative Verbesserungen der Segmentierungsleistung. Umfangreiche Experimente demonstrieren die Effektivität der vorgeschlagenen Struktur des Hilfslern-Netzwerks und der Methode des Lernens zwischen den Aufgaben übergreifender Affinität. Der vorgeschlagene Ansatz erreicht eine leistungsstarke schwach überwachte Segmentierungsleistung bei den herausfordernden PASCAL VOC 2012 und MS COCO Benchmarks.