Splatting de muchos a muchos para una interpolación eficiente de cuadros de video

La interpolación de cuadros de video basada en el movimiento comúnmente depende del flujo óptico para deformar píxeles desde las entradas hasta el instante de interpolación deseado. Sin embargo, debido a los desafíos inherentes a la estimación de movimiento (por ejemplo, oclusiones y discontinuidades), la mayoría de los enfoques de interpolación de vanguardia requieren un posterior refinamiento del resultado deformado para generar salidas satisfactorias, lo que disminuye drásticamente la eficiencia para la interpolación de múltiples cuadros. En este trabajo, proponemos un marco de splatting de Muchos a Muchos (M2M) completamente diferenciable para interpolar cuadros de manera eficiente. Específicamente, dado un par de cuadros, estimamos múltiples flujos bidireccionales para deformar directamente los píxeles hasta el paso de tiempo deseado, y luego fusionamos cualquier píxel superpuesto. Al hacerlo, cada píxel fuente renderiza múltiples píxeles objetivo y cada píxel objetivo puede ser sintetizado a partir de un área más grande de contexto visual. Esto establece un esquema de splatting de muchos a muchos con robustez ante artefactos como agujeros. Además, para cada par de cuadros de entrada, M2M solo realiza la estimación de movimiento una vez y tiene una sobrecarga computacional mínima al interpolar un número arbitrario de cuadros intermedios, logrando así una interpolación rápida de múltiples cuadros. Realizamos experimentos extensivos para analizar M2M y encontramos que mejora significativamente la eficiencia al tiempo que mantiene una alta efectividad.