CRF360D: Monokulare 360 Tiefenschätzung über sphärische vollständig verbundene CRFs

Die monokulare 360 Tiefenschätzung ist aufgrund der inhärenten Verzerrung der equirectangularen Projektion (ERP) herausfordernd. Diese Verzerrung verursacht ein Problem: Sphärische benachbarte Punkte sind nach der Projektion auf die ERP-Ebene getrennt, insbesondere in den Polarregionen. Um dieses Problem zu lösen, berechnen aktuelle Methoden die sphärischen Nachbarn im Tangentialbereich. Da das Tangentialfeld und die Kugel jedoch nur einen gemeinsamen Punkt haben, konstruieren diese Methoden benachbarte sphärische Beziehungen um den gemeinsamen Punkt. In diesem Papier schlagen wir sphärische vollständig verbundene CRFs (SF-CRFs) vor. Wir beginnen damit, ein ERP-Bild gleichmäßig mit regulären Fenstern zu partitionieren, wobei die Fenster am Äquator breitere sphärische Nachbarn haben als die an den Polen. Um die sphärischen Beziehungen zu verbessern, genießen unsere SF-CRFs zwei wichtige Komponenten. Erstens, um genügend sphärische Nachbarn einzubeziehen, schlagen wir ein Spherical Window Transform (SWT) Modul vor. Dieses Modul zielt darauf ab, die sphärischen Beziehungen des Äquatorfensters auf alle anderen Fenster zu replizieren, indem die rotationsinvarianz der Kugel genutzt wird. Bemerkenswerterweise ist der Transformationsprozess hoch effizient und schließt die Transformation aller Fenster in einer 512X1024 ERP in 0,038 Sekunden auf der CPU ab. Zweitens schlagen wir ein Planar-Spherical Interaction (PSI) Modul vor, um die Beziehungen zwischen regulären und transformierten Fenstern zu erleichtern, was nicht nur die lokalen Details bewahrt, sondern auch globale Strukturen erfasst. Durch den Aufbau eines Decoders basierend auf den SF-CRFs-Blöcken schlagen wir CRF360D vor, ein neuartiges 360 Tiefenschätzungsframework, das in verschiedenen Datensätzen eine erstklassige Leistung erzielt. Unser CRF360D ist mit verschiedenen perspektivisch trainierten Backbone-Netzen (z.B. EfficientNet) kompatibel und dient als Encoder.