SpatialTracker: Seguimiento de Cualquier Pixel 2D en Espacio 3D

Recuperar el movimiento denso y de largo alcance de los píxeles en videos es un problema desafiante. Parte de la dificultad surge del proceso de proyección de 3D a 2D, lo que lleva a oclusiones y discontinuidades en el dominio del movimiento 2D. Aunque el movimiento 2D puede ser intrincado, sostenemos que el movimiento 3D subyacente a menudo puede ser simple y de baja dimensión. En este trabajo, proponemos estimar trayectorias de puntos en el espacio 3D para mitigar los problemas causados por la proyección de imágenes. Nuestro método, llamado SpatialTracker, eleva píxeles 2D a 3D usando estimadores de profundidad monoculares, representa el contenido 3D de cada cuadro de manera eficiente utilizando una representación triplana y realiza actualizaciones iterativas utilizando un transformador para estimar trayectorias 3D. El seguimiento en 3D nos permite aprovechar las restricciones de tan rígido como sea posible (ARAP) mientras aprendemos simultáneamente un incrustado de rigidez que agrupa píxeles en diferentes partes rígidas. Una evaluación extensa muestra que nuestro enfoque logra un rendimiento de seguimiento de última generación tanto cualitativa como cuantitativamente, particularmente en escenarios desafiantes como la rotación fuera del plano.