지식 증류를 이용한 단일언어 문장 임베딩의 다국어화

기존 문장 임베딩 모델을 새로운 언어로 확장하는 쉽고 효율적인 방법을 제안합니다. 이를 통해 이전의 단일언어 모델에서 다국어 버전을 만들 수 있습니다. 학습은 번역된 문장이 원본 문장과 동일한 벡터 공간의 위치에 매핑되어야 한다는 아이디어에 기반합니다. 원본(단일언어) 모델을 사용하여 원본 언어의 문장 임베딩을 생성한 다음, 번역된 문장으로 원본 모델을 모방하는 새로운 시스템을 학습합니다. 다국어 문장 임베딩을 훈련하는 다른 방법들과 비교할 때, 이 접근법은 몇 가지 장점이 있습니다: 상대적으로 적은 샘플로 기존 모델을 새로운 언어로 쉽게 확장할 수 있으며, 벡터 공간의 원하는 속성을 보장하는 것이 더 쉽고, 훈련을 위한 하드웨어 요구 사항이 낮습니다. 우리는 다양한 언어 계열의 50개 이상의 언어에 대해 우리의 접근법의 효과를 입증합니다. 400개 이상의 언어로 문장 임베딩 모델을 확장하는 코드는 공개되어 있습니다.