Gemeinsame semantische Segmentierung und Tiefenschätzung mit tiefen convolutionalen Netzwerken

Multi-Skalentiefe CNNs wurden erfolgreich für Probleme eingesetzt, die jedes Pixel einem Label zuordnen, wie z.B. Tiefenschätzung und semantische Segmentierung. Es wurde auch gezeigt, dass solche Architekturen wiederverwendbar sind und für mehrere Aufgaben eingesetzt werden können. Diese Netzwerke werden typischerweise unabhängig für jede Aufgabe trainiert, indem die Ausgabeschicht(en) und das Trainingsziel variiert werden. In dieser Arbeit präsentieren wir ein neues Modell zur gleichzeitigen Tiefenschätzung und semantischen Segmentierung aus einem einzelnen RGB-Bild. Unser Ansatz zeigt die Machbarkeit, Teile des Modells für jede Aufgabe zu trainieren und anschließend das vollständige, kombinierte Modell für beide Aufgaben gleichzeitig mithilfe einer einzelnen Verlustfunktion feinzutunen. Darüber hinaus koppeln wir das tiefe CNN mit einem vollständig verbundenen CRF, das die kontextuellen Beziehungen und Interaktionen zwischen den semantischen und tiefen Hinweisen erfasst und die Genauigkeit der Endergebnisse verbessert. Das vorgeschlagene Modell wird auf dem NYUDepth V2-Datensatz 23 trainiert und evaluiert und übertrifft die Methoden des derzeitigen Stands der Technik bei der semantischen Segmentierung und erzielt vergleichbare Ergebnisse bei der Tiefenschätzung.