Klassenbasierter Lehrplan für unüberwachtes Domänenanpassung in der semantischen Segmentierung

Zusammenfassung Die präzise Schulung tiefer neuronaler Netzwerke für die semantische Segmentierung erfordert eine große Anzahl von Pixel-Level-Annotationen echter Bilder, die teuer zu erstellen oder nicht einmal verfügbar sind. In diesem Kontext kann die unüberwachte Domänenanpassung (UDA) Wissen von unbegrenzten synthetischen Annotationen auf unbezeichnete echte Bilder eines bestimmten Bereichs übertragen. UDA-Methoden bestehen aus einer initialen Trainingsphase mit gekennzeichneten synthetischen Daten, gefolgt von einer zweiten Phase zur Merkmalsanpassung zwischen gekennzeichneten synthetischen und unbezeichneten echten Daten. In diesem Papier schlagen wir einen neuartigen Ansatz für UDA vor, der sich auf die anfängliche Trainingsphase konzentriert, was zu einer verbesserten Leistung nach der Anpassung führt. Wir führen eine Lehrplanstrategie ein, bei der jede semantische Klasse schrittweise gelernt wird. Dadurch werden bessere Merkmale für die zweite Phase erzielt. Dieser Lehrplan basiert auf: (1) einer Klassenbewertungsfunktion zur Bestimmung der Schwierigkeit jeder semantischen Klasse, (2) einer Strategie für inkrementelles Lernen basierend auf Bewertungs- und Zeitmanagementfunktionen, die die erforderliche Trainingszeit im Gegensatz zu herkömmlichem lehrenbasierter Ausbildung begrenzt, und (3) einem Trainingsverlust, der auf Klassenebene arbeitet. Wir evaluieren unseren Ansatz ausführlich als erste Phase mehrerer hochmodernen UDA-Methoden für die semantische Segmentierung. Unsere Ergebnisse zeigen signifikante Leistungssteigerungen über alle Methoden hinweg: Verbesserungen von bis zu 10% für entropiebasierte Techniken und 8% für adversarielle Methoden. Diese Ergebnisse unterstreichen die Abhängigkeit der UDA von der Genauigkeit des anfänglichen Trainings. Die Implementierung ist verfügbar unter https://github.com/vpulab/PCCL.