구문 기반 및 신경 비지도 기계 번역

기계 번역 시스템은 일부 언어에서 인간 수준의 성능에 가까운 성과를 달성하지만, 그 효과는 방대한 평행 문장의 가용성에 크게 의존하여 대다수의 언어 쌍에 대한 적용 가능성을 제한합니다. 본 연구는 각 언어에서 방대한 단일 언어 말뭉치에만 접근할 수 있을 때 번역을 학습하는 방법을 조사합니다. 우리는 신경 모델과 구문 기반 모델의 두 가지 모델 변형을 제안합니다. 두 버전 모두 매개변수의 신중한 초기화, 언어 모델의 노이즈 제거 효과, 반복적인 역번역을 통한 평행 데이터의 자동 생성을 활용합니다. 이러한 모델은 문헌의 방법들보다 상당히 뛰어난 성능을 보이며, 더 간단하고 하이퍼파라미터 수가 적습니다. 널리 사용되는 WMT'14 영어-프랑스어 및 WMT'16 독일어-영어 벤치마크에서 우리 모델은 각각 단일 평행 문장을 사용하지 않고 28.1 및 25.2 BLEU 점수를 획득하여 최첨단 기술보다 11 BLEU 포인트 이상 우수한 성과를 보였습니다. 영어-우르두어 및 영어-루마니아어와 같은 저자원 언어에서는 사용 가능한 비텍스트의 부족을 활용한 반지도 및 지도 접근법보다 더 나은 결과를 달성했습니다. 우리 NMT 및 PBSMT 코드는 공개적으로 사용 가능합니다.