OctNetFusion: Aprendendo Fusão de Profundidade a partir de Dados

Neste artigo, apresentamos uma abordagem baseada em aprendizado para fusão de profundidade, ou seja, reconstrução 3D densa a partir de várias imagens de profundidade. A abordagem mais comum para fusão de profundidade é baseada na média de funções de distância assinadas truncadas, que foi proposta originalmente por Curless e Levoy em 1996. Embora esse método seja simples e forneça ótimos resultados, ele não é capaz de reconstruir superfícies (parcialmente) ocluídas e requer um grande número de quadros para filtrar ruído de sensor e outliers. Motivados pela disponibilidade de grandes repositórios de modelos 3D e avanços recentes em aprendizado profundo, apresentamos uma nova arquitetura de CNN 3D que aprende a prever uma representação de superfície implícita a partir dos mapas de profundidade de entrada. Nosso método baseado em aprendizado supera significativamente a abordagem tradicional de fusão volumétrica em termos de redução de ruído e supressão de outliers. Ao aprender a estrutura de objetos e cenas 3D do mundo real, nossa abordagem também é capaz de reconstruir regiões ocluídas e preencher lacunas na reconstrução. Demonstramos que nossa abordagem baseada em aprendizado supera tanto a fusão TSDF convencional quanto a fusão TV-L1 na tarefa de fusão volumétrica. Ademais, demonstramos resultados de finalização de forma 3D de última geração.