Apertando LLMs Pré-treinados para Previsão Generalizada de Séries Temporais através da Destilação de Conhecimento Cross-modal

A previsão de séries temporais multivariadas ganhou recentemente grande sucesso com o rápido crescimento dos modelos de aprendizado profundo. No entanto, as abordagens existentes geralmente treinam modelos do zero usando dados temporais limitados, impedindo sua generalização. Recentemente, com o aumento dos Modelos de Linguagem de Grande Escala (LLMs), vários trabalhos tentaram introduzir LLMs na previsão de séries temporais. Apesar dos resultados promissores, esses métodos utilizam diretamente séries temporais como entrada para os LLMs, ignorando a lacuna de modalidade inerente entre dados temporais e de texto. Neste trabalho, propomos uma nova estrutura de alinhamento entre Modelos de Linguagem de Grande Escala e séries temporais, chamada LLaTA, para liberar totalmente o potencial dos LLMs no desafio de previsão de séries temporais. Baseado na destilação de conhecimento cross-modal, o método proposto explora tanto o conhecimento estático, independente da entrada, quanto o conhecimento dinâmico, dependente da entrada, em LLMs pré-treinados. Dessa forma, empodera o modelo de previsão com um desempenho favorável, além de fortes capacidades de generalização. Experimentos extensivos demonstram que o método proposto estabelece um novo estado da arte para previsões de curto e longo prazo. O código está disponível em https://github.com/Hank0626/LLaTA.