TVG: Un método de generación de videos de transición sin entrenamiento con modelos de difusión

Los videos de transición desempeñan un papel crucial en la producción de medios, mejorando el flujo y la coherencia de las narrativas visuales. Los métodos tradicionales como el morphing a menudo carecen de atractivo artístico y requieren habilidades especializadas, lo que limita su efectividad. Los avances recientes en la generación de video basada en modelos de difusión ofrecen nuevas posibilidades para crear transiciones, pero enfrentan desafíos como un modelado deficiente de las relaciones entre fotogramas y cambios bruscos en el contenido. Proponemos un enfoque novedoso de Generación de Videos de Transición (TVG) sin entrenamiento utilizando modelos de difusión a nivel de video que aborda estas limitaciones sin entrenamiento adicional. Nuestro método aprovecha la Regresión por Proceso Gaussiano (GPR) para modelar representaciones latentes, asegurando transiciones suaves y dinámicas entre fotogramas. Además, introducimos controles condicionales basados en interpolación y una arquitectura de Fusión Bidireccional Consciente de la Frecuencia (FBiF) para mejorar el control temporal y la fiabilidad de las transiciones. Las evaluaciones de conjuntos de datos de referencia y pares de imágenes personalizados demuestran la efectividad de nuestro enfoque para generar videos de transición suaves y de alta calidad. El código se proporciona en https://sobeymil.github.io/tvg.com.