Estimativa de Correspondência Auto-supervisionada via Registro Multiview

O vídeo nos fornece a consistência espaço-temporal necessária para a aprendizagem visual. Abordagens recentes têm utilizado esse sinal para aprender a estimativa de correspondência a partir de pares de quadros adjacentes. No entanto, ao confiar apenas em pares de quadros adjacentes, essas abordagens perdem a rica consistência de longo alcance entre quadros sobrepostos distantes. Para abordar isso, propomos uma abordagem auto-supervisionada para estimativa de correspondência que aprende com a consistência multiview em sequências curtas de vídeo RGB-D. Nossa abordagem combina estimativa de correspondência em pares e registro com um novo algoritmo de sincronização de transformação SE(3). Nossa principal intenção é que o registro multiview auto-supervisionado nos permite obter correspondências ao longo de períodos de tempo mais longos, aumentando tanto a diversidade quanto a dificuldade dos pares amostrados. Avaliamos nossa abordagem em cenas internas para estimativa de correspondência e registro de nuvem de pontos RGB-D e descobrimos que nosso desempenho é equivalente ao de abordagens supervisionadas.