Pre-entrenamiento Multilingüe de Denoising para la Traducción Automática Neural

Este artículo demuestra que el pre-entrenamiento multilingüe de denoising produce ganancias de rendimiento significativas en una amplia variedad de tareas de traducción automática (MT). Presentamos mBART, un auto-codificador de denoising de secuencia a secuencia pre-entrenado en grandes corpus monolingües de muchos idiomas utilizando el objetivo BART. mBART es uno de los primeros métodos para pre-entrenar un modelo completo de secuencia a secuencia mediante el denoising de textos completos en múltiples idiomas, mientras que enfoques anteriores se han centrado solo en el codificador, el decodificador o en reconstruir partes del texto. Pre-entrenar un modelo completo permite ajustarlo directamente para traducción automática supervisada (tanto a nivel de frase como a nivel de documento) y no supervisada, sin modificaciones específicas para la tarea. Demostramos que agregar la inicialización de mBART produce ganancias de rendimiento en todos menos en los ajustes de recursos más altos, incluyendo hasta 12 puntos BLEU para MT de bajo recurso y más de 5 puntos BLEU para muchos modelos a nivel de documento y no supervisados. También mostramos que permite nuevos tipos de transferencia a pares de idiomas sin bi-texto o que no estaban en el corpus de pre-entrenamiento, y presentamos un análisis extenso de qué factores contribuyen más a un pre-entrenamiento efectivo.