NeRF Coletado por Multidão: Coletando Dados de Veículos de Produção para Reconstrução de Vista 3D de Rua

Recentemente, os Campos de Radiação Neural (NeRF) alcançaram resultados impressionantes na síntese de novas visões. O Block-NeRF mostrou a capacidade de aproveitar o NeRF para construir modelos em grande escala de cidades. Para modelagem em grande escala, uma quantidade massiva de dados de imagem é necessária. Coletar imagens de veículos de coleta de dados especialmente projetados não pode suportar aplicações em grande escala. Como adquirir uma enorme quantidade de dados de alta qualidade continua sendo um problema em aberto. Observando que a indústria automotiva possui uma enorme quantidade de dados de imagem, a coleta colaborativa é uma maneira conveniente para a coleta de dados em grande escala. Neste artigo, apresentamos uma estrutura coletada por multidões, que utiliza dados substanciais capturados por veículos de produção para reconstruir a cena com o modelo NeRF. Essa abordagem resolve o problema-chave da reconstrução em larga escala, que é de onde vêm os dados e como utilizá-los. Primeiro, os dados massivos coletados por multidões são filtrados para remover redundâncias e manter uma distribuição balanceada em termos de tempo e espaço. Em seguida, um módulo de estrutura a partir do movimento é executado para refinar as poses da câmera. Finalmente, as imagens, assim como as poses, são usadas para treinar o modelo NeRF em um determinado bloco. Destacamos que apresentamos uma estrutura abrangente que integra múltiplos módulos, incluindo seleção de dados, reconstrução 3D esparsa, incorporação de aparência de sequência, supervisão de profundidade da superfície do solo e completamento de oclusão. O sistema completo é capaz de processar e reconstruir efetivamente cenas 3D de alta qualidade a partir de dados coletados por multidões. Experimentos quantitativos e qualitativos extensivos foram conduzidos para validar o desempenho de nosso sistema. Além disso, propomos uma aplicação, chamada navegação na primeira visão, que aproveitou o modelo NeRF para gerar vista 3D de rua e guiar o motorista com um vídeo sintetizado.