Co-SLAM: Codificações Conjuntas de Coordenadas e Paramétricas Escassas para SLAM Neural em Tempo Real

Apresentamos o Co-SLAM, um sistema de SLAM RGB-D neural baseado em uma representação híbrida, que realiza rastreamento de câmera robusto e reconstrução de superfície de alta fidelidade em tempo real. O Co-SLAM representa a cena como uma hash-grid de múltiplas resoluções para explorar sua alta velocidade de convergência e capacidade de representar características locais de alta frequência. Além disso, o Co-SLAM incorpora uma codificação de um único bloco, para incentivar a coerência e conclusão da superfície em áreas não observadas. Esta codificação conjunta de coordenadas paramétricas permite desempenho robusto em tempo real, trazendo o melhor dos dois mundos: convergência rápida e preenchimento de buracos na superfície. Além disso, nossa estratégia de amostragem de raios permite que o Co-SLAM realize ajuste de pacote global sobre todos os quadros-chave, em vez de requerer seleção de quadros-chave para manter um pequeno número de quadros-chave ativos, como fazem as abordagens SLAM neurais concorrentes. Resultados experimentais mostram que o Co-SLAM opera a 10-17Hz e alcança resultados de reconstrução de cena de última geração, além de desempenho competitivo de rastreamento em vários conjuntos de dados e benchmarks (ScanNet, TUM, Replica, RGBD Sintético). Página do projeto: https://hengyiwang.github.io/projects/CoSLAM