영어를 넘어 번역 평가 학습하기: WMT 메트릭스 2020 공유 작업에 대한 BLEURT 제출물

기계 번역 시스템의 품질은 지난 10년 동안 극적으로 향상되었으며, 그 결과 평가가 점점 더 도전적인 문제로 부각되고 있습니다. 본 논문은 자동 번역 평가를 위한 주요 벤치마크인 WMT 2020 메트릭스 공유 작업에 대한 우리의 기여를 설명합니다. 우리는 전이 학습을 기반으로 한 기존에 발표된 메트릭인 BLEURT에 기반하여 여러 제출을 합니다. 우리는 메트릭을 영어를 넘어 확장하고, 미세 조정 데이터가 제공되는 14개 언어 쌍과 라벨링된 예시가 없는 4개의 '제로 샷' 언어 쌍에 대해 평가합니다. 또한, 우리는 영어에서 독일어로의 번역에 집중하며 BLEURT의 예측을 YiSi의 예측과 결합하고 성능 향상을 위해 대체 참조 번역을 사용하는 방법을 보여줍니다. 실험 결과 모델은 WMT 메트릭스 2019 공유 작업에서 경쟁력 있는 결과를 달성했으며, 이는 2020 판에 대한 가능성을 나타냅니다.