GeoNet: Aprendizado Não Supervisionado de Profundidade Densa, Fluxo Óptico e Pose da Câmera

Nós propomos o GeoNet, uma estrutura de aprendizado não supervisionada conjunta para estimativa de profundidade monocular, fluxo óptico e egomotion a partir de vídeos. Os três componentes estão acoplados pela natureza da geometria da cena 3D, aprendidos conjuntamente pela nossa estrutura de forma end-to-end. Especificamente, relações geométricas são extraídas sobre as previsões de módulos individuais e então combinadas como uma perda de reconstrução de imagem, raciocinando sobre partes estáticas e dinâmicas da cena separadamente. Além disso, propomos uma perda de consistência geométrica adaptativa para aumentar a robustez em relação a outliers e regiões não-Lambertianas, que resolve oclusões e ambiguidades de textura de forma eficaz. A experimentação no conjunto de dados de direção KITTI revela que nosso esquema alcança resultados de ponta em todas as três tarefas, apresentando desempenho melhor do que métodos não supervisionados anteriores e comparável com os supervisionados.