Predicción de Video Programática Usando Modelos de Lenguaje Grande

La tarea de estimar el modelo del mundo que describe la dinámica de un proceso del mundo real asume una inmensa importancia para anticipar y prepararse para resultados futuros. Para aplicaciones como la vigilancia por video, aplicaciones de robótica, conducción autónoma, etc., este objetivo implica sintetizar futuros visuales plausibles, dados unos pocos fotogramas de un video para establecer el contexto visual. Con este fin, proponemos ProgGen, que lleva a cabo la tarea de predicción de fotogramas de video al representar la dinámica del video utilizando un conjunto de estados neuro-simbólicos, interpretables por humanos (uno por fotograma) aprovechando los sesgos inductivos de los Modelos de Lenguaje Grande (LLM) / Modelos de Lenguaje de Visión (VLM). En particular, ProgGen utiliza LLM/VLM para sintetizar programas: (i) para estimar los estados del video, dado el contexto visual (es decir, los fotogramas); (ii) para predecir los estados correspondientes a futuros pasos de tiempo al estimar la dinámica de transición; (iii) para renderizar los estados predichos como fotogramas RGB visuales. Evaluaciones empíricas revelan que nuestro método propuesto supera las técnicas compitiendo en la tarea de predicción de fotogramas de video en dos entornos desafiantes: (i) PhyWorld (ii) Cart Pole. Además, ProgGen permite razonamiento contrafactual y generación de video interpretable, lo que atestigua su efectividad y generalizabilidad para tareas de generación de video.