시간 마스킹을 통한 시계열 언어 모델

우리의 세계는 끊임없이 진화하고 있으며, 웹의 콘텐츠도 마찬가지입니다. 그 결과, 종종 세계를 반영한다고 여겨지는 우리의 언어는 본질적으로 동적입니다. 그러나 현재의 대부분의 맥락적 언어 모델은 정적이며 시간에 따른 변화에 적응할 수 없습니다. 본 연구에서는 텍스트의 추가적인 맥락으로 시간을 활용하는 시계열 맥락 언어 모델인 TempoBERT를 제안합니다. 우리의 기술은 텍스트를 시간 정보로 수정하고, 보조 시간 정보에 대한 특정 마스킹인 시간 마스킹을 수행하는 데 기반합니다. 우리는 시간, 크기, 장르 및 언어 측면에서 다양한 데이터셋을 실험하며 의미 변화 탐지 및 문장 시간 예측 작업에 우리의 접근 방식을 활용합니다. 우리의 광범위한 평가 결과 두 작업 모두 시간 마스킹을 활용하는 데 혜택을 입는다는 것을 보여줍니다.