SPARF: Campos de Radiação Neural de Poses Escassas e Ruidosas

O Campo de Radiação Neural (NeRF) surgiu recentemente como uma representação poderosa para sintetizar vistas fotorealistas novas. Apesar de apresentar um desempenho impressionante, ele depende da disponibilidade de vistas de entrada densas com poses de câmera altamente precisas, limitando assim sua aplicação em cenários do mundo real. Neste trabalho, introduzimos o Campo de Radiação Ajustado para Poses Escassas (SPARF), para enfrentar o desafio da síntese de novas vistas dado apenas algumas imagens de entrada com ampla base (tão poucas quanto 3) com poses de câmera ruidosas. Nossa abordagem explora restrições de geometria multi-vista para aprender conjuntamente o NeRF e refinar as poses da câmera. Ao depender de correspondências de pixels extraídas entre as vistas de entrada, nosso objetivo de correspondência multivista força as poses de cena e câmera otimizadas a convergirem para uma solução global e geometricamente precisa. Nossa perda de consistência de profundidade incentiva ainda mais a cena reconstruída a ser consistente de qualquer ponto de vista. Nossa abordagem estabelece um novo estado da arte no regime de vista escassa em múltiplos conjuntos de dados desafiadores.