언어 불균형은 교차 언어 일반화를 촉진할 수 있다

다국어 사용은 최근 언어 모델링의 발전을 다양한 언어 커뮤니티에 확장하는 데 중요한 역할을 한다. 여러 언어를 표현하면서 높은 성능을 유지하기 위해, 다국어 모델은 이상적으로 표현을 정렬하여 한 언어에서 학습한 내용을 다른 언어에 일반화할 수 있도록 한다. 이전 연구는 이러한 정렬을 위한 주요 요소로 평행 데이터와 공유 어휘 요소의 중요성을 강조했다. 본 연구에서는 교차 언어 일반화의 직관적이지 않은 새로운 원인인 언어 불균형을 조사한다. 완벽히 동등한 클론 언어에서의 통제된 실험에서, 우리는 훈련 중 우세한 언어의 존재가 덜 빈번한 언어의 성능을 향상시키고 언어 간 모델 표현의 정렬을 강화한다는 것을 관찰한다. 더욱이 이 경향은 규모가 커질수록 증폭된다: 충분히 큰 모델이나 긴 훈련을 거치면, 90/10 언어 비율의 이중언어 훈련 데이터가 균형 잡힌 50/50 비율보다 두 언어 모두에서 더 나은 성능을 낸다는 것을 확인한다. 이러한 통찰을 바탕으로, 우리는 훈련 데이터의 변경 없이도 모든 클론 언어의 성과를 향상시킬 수 있는 훈련 Scheme를 설계한다. 실제 언어에 대한 분석을 확장하면서, 우리는 빈번한 언어에서 드문 언어가 여전히 혜택을 얻는 것을 확인하지만, 언어 불균형이 그곳에서 교차 언어 일반화를 초래하는지는 결론적이지 않다.