세미밸(Task 1): 아프리카 및 아시아 언어를 위한 의미 텍스트 관련성

우리는 의미 텍스트 관련성(STR)에 대한 첫 번째 공유 작업을 제안합니다. 이전의 공유 작업은 주로 의미적 유사성에 초점을 맞췄지만, 우리는 대신 14개 언어(아프리칸스어, 알제리 아랍어, 암하릭, 영어, 하우사어, 힌디어, 인도네시아어, 키냐르완다어, 마라티어, 모로코 아랍어, 현대 표준 아랍어, 펀자브어, 스페인어, 텔루구어)에서 의미적 관련성이라는 더 넓은 현상을 조사합니다. 이들 언어는 다섯 가지 뚜렷한 언어 계통에서 유래하며 주로 아프리카 및 아시아에서 사용됩니다. 이 지역은 자연어 처리(NLP) 자원의 상대적으로 제한된 가용성을 특징으로 합니다. 데이터 세트의 각 인스턴스는 두 문장 간의 의미 텍스트 관련성 정도를 나타내는 점수와 연관된 문장 쌍입니다. 참가 시스템은 두 문장의 의미적 근접성(즉, 의미적 관련성의 정도)에 따라 문장 쌍을 평가하도록 요청받았습니다. 이 작업은 세 가지 주요 트랙으로 구성되었습니다: (a) 지도 학습, (b) 비지도 학습, (c) 교차 언어. 이 작업에는 163명의 참가자가 참여했습니다. 총 51개 팀에서 70개의 제출물이 접수되었으며, 38개의 시스템 설명 논문도 수령하였습니다. 우리는 성과가 가장 우수한 시스템과 세 가지 다른 트랙에 대한 가장 일반적이고 효과적인 접근 방식을 보고합니다.