최근 대규모 언어 모델(LLMs)은 다양한 작업을 수행하는 강력한 능력을 입증하였으며, 이에 따라 최근 연구에서 주어진 역사적 시간 시계열을 기반으로 미래 값을 예측하는 시간 시계열 예측(TSF) 작업에 적용되고 있습니다. 기존 LLM 기반 접근법은 텍스트 데이터에서 학습한 지식을 프롬프트 또는 세부 조정 전략을 사용하여 시간 시계열 예측으로 전이합니다. 그러나 LLM은 이산 토큰과 의미 패턴에 대한 추론에 능숙하지만, 연속적인 숫자 시간 시계열 데이터를 모델링하기 위해 처음 설계되지 않았습니다. 텍스트와 시간 시계열 데이터 간의 간극은 LLM이 TSF 데이터에 직접 학습된 기본 변환기 모델에 비해 열악한 성능을 보이게 합니다. 그러나 기본 변환기는 종종 고급 의미 패턴을 학습하는 데 어려움을 겪습니다. 본 논문에서는 LLM과 기본 변환기의 강점을 보완적으로 활용하는 새로운 변환기 기반 아키텍처를 설계하여, LLM이 학습한 고급 의미 표현을 시간 시계열 변환기가 인코딩하는 시간 정보에 통합합니다. 이때 LLM과 변환기의 표현을 융합하여 하이브리드 표현을 얻습니다. 결과적으로 생성된 융합 표현은 역사적 시간 동역학과 의미 변동 패턴을 모두 포함하여, 모델이 더 정확한 미래 값을 예측할 수 있게 합니다. 벤치마크 데이터셋에 대한 실험은 제안된 접근법의 효과성을 입증합니다.
Chen et al. (Mon,)은 이 질문을 연구하였습니다.