GPTCast: un modelo de lenguaje meteorológico para la predicción de precipitaciones en tiempo real

Este trabajo presenta GPTCast, un método generativo de aprendizaje profundo para la predicción en conjunto de precipitaciones basadas en radar, inspirado en avances en modelos de lenguaje de gran tamaño (LLMs). Utilizamos un modelo GPT como pronosticador para aprender dinámicas espaciales y temporales de precipitaciones utilizando imágenes de radar tokenizadas. El tokenizador se basa en un Autoencoder Variacional Cuantizado con una nueva función de pérdida de reconstrucción adaptada a la distribución sesgada de las precipitaciones que promueve una reconstrucción fiel de las tasas de lluvia altas. El enfoque produce pronósticos en conjunto realistas y proporciona salidas probabilísticas con estimaciones de incertidumbre precisas. El modelo se entrena sin recurrir a la aleatoriedad, toda la variabilidad se aprende únicamente de los datos y se expone por el modelo en la inferencia para la generación en conjunto. Entrenamos y probamos GPTCast utilizando un conjunto de datos de radar de 6 años en la región de Emilia-Romaña en el norte de Italia, mostrando resultados superiores en comparación con métodos de extrapolación en conjunto de última generación.