LSCD 벤치마크: 시계적 단어 의미 과제를 위한 테스트베드

어휘 의미 변화 탐지(LSCD)는 복잡한 lemma 수준의 과제로, 일반적으로 두 가지 후속 적용 사용 수준 작업을 기반으로 운영됩니다: 첫째, Word-in-Context (WiC) 레이블이 사용 쌍에 대해 도출됩니다. 그런 다음, 이러한 레이블은 Word Sense Induction (WSI)가 적용되는 그래프에 표현되어 의미 집단을 도출합니다. 마지막으로, LSCD 레이블은 시간에 따른 의미 집단 비교를 통해 도출됩니다. 이러한 모듈성은 대부분의 LSCD 데이터 세트 및 모델에 반영됩니다. 또한 다양한 데이터 세트 버전, 전처리 옵션 및 평가 지표로 인해 모델링 옵션 및 작업 정의에서 큰 이질성을 초래합니다. 이러한 이질성은 비교 가능한 조건에서 모델을 평가하거나 최적 모델 조합을 선택하거나 결과를 재현하기 어렵게 만듭니다. 따라서 우리는 LSCD 평가를 표준화하는 벤치마크 리포지토리를 제공합니다. 투명한 구현을 통해 결과는 쉽게 재현 가능해지고, 표준화를 통해 다양한 구성 요소를 자유롭게 조합할 수 있습니다. 이 리포지토리는 WiC, WSI 및 LSCD에 대한 모델 평가를 가능하게 하여 작업의 모듈성을 반영합니다. 이는 점점 더 복잡한 모델 구성 요소를 신중하게 평가하여 모델 최적화의 새로운 방법을 제공합니다.