Superpixel mit segmentierungsbewusster Affinitätsverlust lernen

Superpixel-Segmentierung wird in vielen Computer Vision-Aufgaben weit verwendet. Bestehende Superpixel-Algorithmen basieren hauptsächlich auf handgefertigten Merkmalen, die oft schwache Objektgrenzen nicht erhalten können. In dieser Arbeit nutzen wir tiefe neuronale Netzwerke, um das Extrahieren von Superpixeln aus Bildern zu erleichtern. Wir zeigen, dass eine einfache Integration von tiefen Merkmalen mit bestehenden Superpixel-Algorithmen nicht zu einer besseren Leistung führt, da diese Merkmale die Segmentierung nicht modellieren. Stattdessen schlagen wir einen segmentierungsbewussten Affinitätslernansatz für die Superpixel-Segmentierung vor. Konkret schlagen wir eine neue Verlustfunktion vor, die den Segmentierungsfehler für das Affinitätslernen berücksichtigt. Wir entwickeln auch das Pixel Affinity Net zur Vorhersage von Affinitäten. Umfangreiche experimentelle Ergebnisse zeigen, dass der vorgeschlagene Algorithmus, der auf dem gelernten segmentierungsbewussten Verlust basiert, gegenüber den neuesten Methoden vorteilhaft abschneidet. Wir demonstrieren auch die Verwendung der gelernten Superpixel in zahlreichen Vision-Anwendungen mit konsistenten Verbesserungen.