SpatialTracker: Rastreando Qualquer Pixel 2D em Espaço 3D

Recuperar o movimento de pixels denso e de longo alcance em vídeos é um problema desafiador. Parte da dificuldade surge do processo de projeção de 3D para 2D, levando a oclusões e descontinuidades no domínio do movimento 2D. Embora o movimento 2D possa ser intrincado, positamos que o movimento 3D subjacente pode ser frequentemente simples e de baixa dimensão. Neste trabalho, propomos estimar trajetórias de pontos em espaço 3D para mitigar os problemas causados pela projeção de imagem. Nosso método, chamado SpatialTracker, eleva pixels 2D para 3D usando estimadores de profundidade monoculares, representa o conteúdo 3D de cada quadro de forma eficiente utilizando uma representação triplana e realiza atualizações iterativas usando um transformador para estimar trajetórias 3D. O rastreamento em 3D nos permite aproveitar restrições de rigidez máxima (ARAP) enquanto simultaneamente aprendemos uma incorporação de rigidez que agrupa pixels em diferentes partes rígidas. Avaliação extensa mostra que nossa abordagem alcança desempenho de rastreamento de ponta tanto qualitativa quanto quantitativamente, particularmente em cenários desafiadores como rotação fora do plano.