Aprendendo Características de Pose Volumétrica Neural para Localização de Câmera

Apresentamos uma nova característica de pose volumétrica neural, denominada PoseMap, projetada para aprimorar a localização da câmera ao encapsular as informações entre imagens e as poses associadas da câmera. Nossa estrutura aproveita uma arquitetura de Regressão de Pose Absoluta (APR), juntamente com um módulo NeRF aumentado. Essa integração não apenas facilita a geração de novas visões para enriquecer o conjunto de dados de treinamento, mas também possibilita o aprendizado de características de pose eficazes. Além disso, estendemos nossa arquitetura para alinhamento online auto-supervisionado, permitindo que nosso método seja utilizado e ajustado para imagens não rotuladas dentro de uma estrutura unificada. Experimentos demonstram que nosso método alcança um ganho de desempenho médio de 14,28% e 20,51% em cenas de benchmark internas e externas, superando os métodos APR existentes com precisão de última geração.