UniTS: Construindo um Modelo de Série Temporal Unificado

Modelos de base, especialmente LLMs, estão transformando profundamente o aprendizado profundo. Em vez de treinar muitos modelos específicos para tarefas, podemos adaptar um único modelo pré-treinado para muitas tarefas por meio de prompting de few-shot ou fine-tuning. No entanto, os modelos de base atuais se aplicam a dados de sequência, mas não a séries temporais, que apresentam desafios únicos devido aos conjuntos de dados de séries temporais diversos e multidomínios, especificações de tarefas divergentes em previsão, classificação e outros tipos de tarefas, e a aparente necessidade de modelos especializados para tarefas. Desenvolvemos o UNITS, um modelo unificado de série temporal que suporta uma especificação universal de tarefa, acomodando tarefas de classificação, previsão, imputação e detecção de anomalias. Isso é alcançado por meio de um novo backbone de rede unificado, que incorpora atenção sequencial e variável juntamente com um operador linear dinâmico e é treinado como um modelo unificado. Em 38 conjuntos de dados multidomínicos, o UNITS demonstra desempenho superior em comparação com modelos específicos para tarefas e LLMs baseados em linguagem natural reaproveitados. O UNITS exibe notáveis capacidades de zero-shot, few-shot e aprendizado por prompt quando avaliado em novos domínios de dados e tarefas. O código-fonte e os conjuntos de dados estão disponíveis em https://github.com/mims-harvard/UniTS.