SCOOP: Correspondencia Auto-Supervisada y Flujo de Escena Basado en Optimización

La estimación del flujo de escena es un problema de larga data en la visión por computadora, donde el objetivo es encontrar el movimiento 3D de una escena a partir de sus observaciones consecutivas. Recientemente, ha habido esfuerzos para calcular el flujo de escena a partir de nubes de puntos 3D. Un enfoque común es entrenar un modelo de regresión que consuma nubes de puntos de origen y destino y produzca el vector de traducción por punto. Una alternativa es aprender coincidencias de puntos entre las nubes de puntos concurrentemente con la regresión de un refinamiento del flujo de correspondencia inicial. En ambos casos, la tarea de aprendizaje es muy desafiante ya que la regresión del flujo se realiza en el espacio 3D libre, y una solución típica es recurrir a un gran conjunto de datos sintético anotado. Presentamos SCOOP, un nuevo método para la estimación del flujo de escena que se puede aprender con una pequeña cantidad de datos sin emplear supervisión de flujo verdadero. En contraste con trabajos anteriores, entrenamos un modelo de correspondencia puro enfocado en aprender la representación de características del punto e inicializamos el flujo como la diferencia entre un punto de origen y su punto de destino que corresponde suavemente. Luego, en la fase de ejecución, optimizamos directamente un componente de refinamiento de flujo con un objetivo auto-supervisado, lo que lleva a un campo de flujo coherente y preciso entre las nubes de puntos. Los experimentos en conjuntos de datos ampliamente utilizados demuestran las mejoras de rendimiento logradas por nuestro método en comparación con técnicas líderes existentes mientras usamos una fracción de los datos de entrenamiento. Nuestro código está disponible públicamente 1 1 https://github.com/itailang/SCOOP.