Avaliação de Modelos de Linguagem Grande na Compreensão de Recursos de Séries Temporais: Uma Taxonomia Abrangente e Benchmark

Modelos de Linguagem Grande (LLMs) oferecem o potencial para análise e relatório automáticos de séries temporais, o que é uma tarefa crítica em muitos domínios, abrangendo saúde, finanças, clima, energia e muitos mais. Neste artigo, propomos uma estrutura para avaliar rigorosamente as capacidades dos LLMs na compreensão de séries temporais, abrangendo formas univariadas e multivariadas. Introduzimos uma taxonomia abrangente de características de séries temporais, uma estrutura crítica que delineia várias características inerentes aos dados de séries temporais. Aproveitando essa taxonomia, projetamos e sintetizamos de forma sistemática um conjunto diversificado de dados de séries temporais, incorporando os diferentes recursos delineados. Esse conjunto de dados atua como uma base sólida para avaliar a proficiência dos LLMs na compreensão de séries temporais. Nossos experimentos lançam luz sobre as forças e limitações dos LLMs de última geração na compreensão de séries temporais, revelando quais características esses modelos compreendem efetivamente e onde eles falham. Além disso, descobrimos a sensibilidade dos LLMs a fatores, incluindo a formatação dos dados, a posição dos pontos consultados dentro de uma série e o comprimento total da série temporal.