Comprensión de escenas 3D monoculares con razonamiento explícito de oclusión

La comprensión de escenas desde una cámara monocular en movimiento es un problema desafiante con una serie de aplicaciones que incluyen robótica y seguridad automotriz. Aunque los sistemas recientes han demostrado que esto se logra mejor con un modelo de escena 3D, el manejo de la oclusión parcial de objetos sigue siendo insatisfactorio. En este artículo proponemos un enfoque que integra estrechamente el seguimiento de escenas 3D monoculares mediante detección con el razonamiento explícito de oclusión objeto-objeto. Los detectores de objetos completos y de partes de objetos se combinan en una mezcla de expertos basada en su visibilidad esperada, que se obtiene del modelo de escena 3D. Para el difícil caso del seguimiento de múltiples personas, demostramos que nuestro enfoque produce una detección y seguimiento más robustos de peatones parcialmente visibles, incluso cuando están ocluidos durante largos períodos de tiempo. Nuestro enfoque se evalúa en dos secuencias desafiantes grabadas desde una cámara móvil en zonas peatonales concurridas y supera varios enfoques de última generación.