TimePFN: Pronóstico Efectivo de Series Temporales Multivariantes con Datos Sintéticos

La diversidad de las aplicaciones de series temporales y la escasez de datos específicos del dominio destacan la necesidad de modelos de series temporales con fuertes capacidades de aprendizaje con pocos ejemplos. En este trabajo, proponemos un nuevo esquema de entrenamiento y una arquitectura basada en transformadores, colectivamente denominada TimePFN, para la predicción de series temporales multivariantes (MTS). TimePFN se basa en el concepto de Redes Ajustadas a Datos Previos (PFN), que tiene como objetivo aproximar la inferencia bayesiana. Nuestro enfoque consiste en (1) generar datos sintéticos de MTS a través de diversos núcleos de proceso gaussiano y el método de co-regionalización lineal, y (2) una nueva arquitectura de MTS capaz de utilizar tanto dependencias temporales como de canal cruzado en todos los parches de entrada. Evaluamos TimePFN en varios conjuntos de datos de referencia y demostramos que supera los modelos existentes de última generación para pronóstico de MTS tanto en configuraciones de cero disparos como de pocos disparos. Notablemente, el ajuste fino de TimePFN con tan solo 500 puntos de datos casi iguala el error de entrenamiento del conjunto de datos completo, y hasta 50 puntos de datos producen resultados competitivos. También encontramos que TimePFN exhibe un fuerte rendimiento en pronósticos univariantes, lo que atestigua su capacidad de generalización. En general, este trabajo desbloquea el poder de los priors de datos sintéticos para el pronóstico de MTS y facilita un sólido rendimiento de pronóstico en cero y pocos disparos.