S4C: Completação Semântica de Cena Auto-Supervisionada Com Campos Neurais

A compreensão de cena semântica 3D é um desafio fundamental em visão computacional. Permite que agentes móveis planejem e naveguem autonomamente em ambientes arbitrários. A SSC formaliza esse desafio como a estimativa conjunta de geometria densa e informações semânticas a partir de observações esparsas de uma cena. Os métodos atuais para SSC são geralmente treinados em verdade de solo 3D com base em varreduras LiDAR agregadas. Esse processo depende de sensores especiais e anotação manual, que são dispendiosos e não escalonam bem. Para superar essa questão, nosso trabalho apresenta a primeira abordagem auto-supervisionada para SSC chamada S4C, que não depende de dados de verdade de solo 3D. Nosso método proposto pode reconstruir uma cena a partir de uma imagem única e depende apenas de vídeos e verdade de solo de pseudo segmentação gerados a partir de uma rede de segmentação de imagem pronta durante o treinamento. Ao contrário dos métodos existentes, que usam grades de voxels discretos, representamos cenas como campos semânticos implícitos. Essa formulação permite consultar qualquer ponto dentro do frustum da câmera para ocupação e classe semântica. Nossa arquitetura é treinada através de perdas auto-supervisionadas baseadas em renderização. No entanto, nosso método alcança desempenho próximo ao dos métodos state-of-the-art totalmente supervisionados. Além disso, nosso método demonstra fortes capacidades de generalização e pode sintetizar mapas de segmentação precisos para pontos de vista distantes.