Hacia leyes de escalado neural para modelos fundamentales en gráficos temporales

El campo del aprendizaje de gráficos temporales tiene como objetivo aprender de datos de redes en evolución para prever interacciones futuras. Dada una colección de gráficos temporales observados, ¿es posible predecir la evolución de una red no vista del mismo dominio? Para responder a esta pregunta, primero presentamos el conjunto de datos de Escalado de Gráficos Temporales (TGS), una gran colección de gráficos temporales que consiste en ochenta y cuatro redes de transacciones de tokens ERC20 recopiladas desde 2017 hasta 2023. A continuación, evaluamos la transferibilidad de las Redes Neuronales de Gráficos Temporales (TGNN) para la tarea de predicción de propiedades de gráficos temporales, preentrenando en una colección de hasta sesenta y cuatro redes de transacciones de tokens y luego evaluando el rendimiento en redes de tokens no vistas. Encontramos que la ley de escalado neural observada en NLP y visión por computadora también se aplica en el aprendizaje de gráficos temporales, donde el preentrenamiento en un mayor número de redes conduce a un mejor rendimiento en tareas posteriores. Hasta donde sabemos, esta es la primera demostración empírica de la transferibilidad del aprendizaje de gráficos temporales. En las redes de tokens posteriores, el modelo preentrenado más grande supera a las TGNN de modelo único en trece redes de prueba no vistas. Por lo tanto, creemos que este es un primer paso prometedor hacia la construcción de modelos fundamentales para gráficos temporales.