Unindo NeRF com Correspondência de Recursos para Estimativa de Posição em Um Passo

Dada a coleção de imagens de um objeto, nosso objetivo é construir um método de estimativa de posição baseado em imagem em tempo real, que não requer seu modelo CAD nem horas de treinamento específico do objeto. Métodos recentes baseados em NeRF oferecem uma solução promissora otimizando diretamente a posição a partir da perda de pixels entre imagens renderizadas e imagens-alvo. No entanto, durante a inferência, eles exigem um longo tempo de convergência e sofrem com mínimos locais, tornando-os impraticáveis para aplicações robóticas em tempo real. Nosso objetivo é resolver esse problema unindo a correspondência de imagens com NeRF. Com correspondências 2D e profundidade renderizada pelo NeRF, resolvemos diretamente a posição em um passo, construindo correspondências 2D-3D entre a visão inicial e a visão-alvo, permitindo previsões em tempo real. Além disso, para melhorar a precisão das correspondências 2D-3D, propomos uma estratégia de mineração de pontos consistentes em 3D, que efetivamente descarta pontos não fiéis reconstruídos pelo NeRF. Além disso, métodos atuais baseados em NeRF que otimizam ingenuamente a perda de pixels falham em imagens ocluídas. Assim, propomos ainda uma estratégia de amostragem baseada em correspondências 2D para evitar a área ocluída. Resultados experimentais em conjuntos de dados representativos provam que nosso método supera métodos de ponta e melhora a eficiência da inferência em 90x, alcançando previsão em tempo real a 6 FPS.