Aprendizaje Dual para Traducción Automática

Mientras que la traducción automática neuronal (NMT) ha progresado bien en los últimos dos años, se necesitan decenas de millones de pares de oraciones bilingües para su entrenamiento. Sin embargo, el etiquetado humano es muy costoso. Para abordar este cuello de botella en los datos de entrenamiento, desarrollamos un mecanismo de aprendizaje dual, que puede permitir que un sistema NMT aprenda automáticamente de datos no etiquetados a través de un juego de aprendizaje dual. Este mecanismo se inspira en la siguiente observación: cualquier tarea de traducción automática tiene una tarea dual, por ejemplo, la traducción de inglés a francés (primal) frente a la traducción de francés a inglés (dual); las tareas primal y dual pueden formar un circuito cerrado y generar señales de retroalimentación informativas para entrenar los modelos de traducción, incluso sin la participación de un etiquetador humano. En el mecanismo de aprendizaje dual, usamos un agente para representar el modelo para la tarea primal y el otro agente para representar el modelo para la tarea dual, luego les pedimos que se enseñen mutuamente a través de un proceso de aprendizaje por refuerzo. Basándonos en las señales de retroalimentación generadas durante este proceso (por ejemplo, la probabilidad del modelo de lenguaje de la salida de un modelo y el error de reconstrucción de la oración original después de las traducciones primal y dual), podemos actualizar iterativamente los dos modelos hasta la convergencia (por ejemplo, utilizando los métodos de gradiente de política). Llamamos al enfoque correspondiente de traducción automática neuronal NMT dual. Los experimentos muestran que NMT dual funciona muy bien en la traducción de inglés a francés; especialmente, al aprender de datos monolingües (con un 10% de datos bilingües para un inicio previo), logra una precisión comparable a la NMT entrenada con los datos bilingües completos para la tarea de traducción de francés a inglés.