Olhar para o Desconhecido: Seleção Ativa de Visões com Mapas de Incerteza Neural para Reconstrução 3D

Algumas perspectivas naturalmente fornecem mais informações do que outras. Como um sistema de IA pode determinar qual ponto de vista oferece o insight mais valioso para uma reconstrução de objeto 3D precisa e eficiente? A seleção ativa de visões (AVS) para reconstrução 3D continua a ser um desafio fundamental na visão computacional. O objetivo é identificar o conjunto mínimo de visões que resulta na reconstrução 3D mais precisa. Em vez de aprender campos de radiação, como NeRF ou 3D Gaussian Splatting, a partir de uma observação atual e calcular a incerteza para cada ponto de vista candidato, introduzimos uma nova abordagem AVS guiada por mapas de incerteza neural previstos por uma rede neural profunda leve, chamada UPNet. A UPNet recebe uma única imagem de entrada de um objeto 3D e gera um mapa de incerteza previsto, representando valores de incerteza em todos os possíveis pontos de vista candidatos. Ao alavancar heurísticas derivadas da observação de muitos objetos naturais e seus padrões de incerteza associados, treinamos a UPNet para aprender um mapeamento direto da aparência do ponto de vista para a incerteza nas representações volumétricas subjacentes. Em seguida, nossa abordagem agrega todos os mapas de incerteza neural previstos anteriormente para suprimir pontos de vista candidatos redundantes e efetivamente selecionar o mais informativo. Usando esses pontos de vista selecionados, treinamos modelos de renderização neural 3D e avaliamos a qualidade da síntese de novos pontos de vista em comparação com outros métodos AVS competitivos. Notavelmente, apesar de usar metade dos pontos de vista do limite superior, nosso método alcança precisão de reconstrução comparável. Além disso, reduz significativamente a sobrecarga computacional durante a AVS, alcançando até 400 vezes de aumento de velocidade e mais de 50% de redução no uso de CPU, RAM e GPU em comparação com métodos base. Notavelmente, nossa abordagem generaliza efetivamente para tarefas AVS envolvendo novas categorias de objetos, sem exigir treinamento adicional.