Von Patchen zu Objekten: Räumliches Denken nutzen für bessere visuelle Darstellungen

Zusammenfassung: Da sich das Gebiet des Deep Learning stetig vom Bereich der akademischen Forschung in die praktische Anwendung bewegt, hat die Bedeutung von selbstüberwachenden Vortraining-Methoden zunehmend an Bedeutung gewonnen. Diese Methoden, insbesondere im Bildbereich, bieten eine überzeugende Strategie, um die Fülle an unlabeled Bilddaten effektiv zu nutzen und damit die Leistung nachgelagerter Aufgaben zu verbessern. In diesem Papier schlagen wir Spatial Reasoning vor, eine neuartige unterstützende Vortraining-Methode, die von einer flexibleren Formulierung des kontrastiven Lernens profitiert, indem sie räumliches Denken als Hilfsaufgabe für diskriminative selbstüberwachende Methoden einführt. Spatial Reasoning funktioniert, indem das Netzwerk die relativen Abstände zwischen ausgewählten nicht überlappenden Patches vorhersagt. Wir argumentieren, dass dies das Netzwerk zwingt, detailliertere und komplexere interne Darstellungen der Objekte und der Beziehungen zwischen ihren Bestandteilen zu lernen. Unsere Experimente zeigen eine erhebliche Verbesserung der Leistung nachgelagerter Bewertungen im Vergleich zu ähnlichen Arbeiten und bieten Ansatzpunkte für weitere Forschungen zum räumlichen Denken.