Predicción y finalización de profundidad panorámica profunda para escenas interiores

Resumen: Presentamos una nueva solución de aprendizaje profundo de extremo a extremo para estimar rápidamente un mapa de profundidad esférico denso de un entorno interior. Nuestra entrada es una única imagen equirectangular registrada con un mapa de profundidad escaso, como lo proporcionan una variedad de configuraciones de captura comunes. La profundidad se infiere mediante una red eficiente y ligera de rama única, que emplea un sistema de compuerta dinámica para procesar conjuntamente datos visuales densos y datos geométricos escasos. Explotamos las características de ambientes artificiales típicos para comprimir eficientemente características multi-resolución y encontrar relaciones a corto y largo alcance entre las partes de la escena. Además, introducimos una nueva estrategia de aumento para hacer que el modelo sea robusto a diferentes tipos de escasez, incluyendo aquellas generadas por varios sensores de luz estructurada y configuraciones de LiDAR. Los resultados experimentales demuestran que nuestro método proporciona un rendimiento interactivo y supera las soluciones de última generación en eficiencia computacional, adaptabilidad a patrones de escasez de profundidad variables y precisión de predicción para datos interiores desafiantes, incluso cuando se entrena únicamente con datos sintéticos sin ningún ajuste fino.