Red de Transformadores Ponderada para Traducción Automática

Los resultados de vanguardia en la traducción automática neuronal a menudo utilizan modelos de secuencia a secuencia atencionales con alguna forma de convolución o recursión. Vaswani et al. (2017) proponen una nueva arquitectura que evita completamente la recurrencia y la convolución. En su lugar, utiliza solo capas de autoatención y capas de avance. Si bien la arquitectura propuesta alcanza resultados de vanguardia en varias tareas de traducción automática, requiere un gran número de parámetros e iteraciones de entrenamiento para converger. Proponemos el Transformador Ponderado, un Transformador con capas de atención modificadas, que no solo supera la red de referencia en puntaje BLEU, sino que también converge un 15-40% más rápido. Específicamente, sustituimos la atención de múltiples cabezas por múltiples ramas de autoatención que el modelo aprende a combinar durante el proceso de entrenamiento. Nuestro modelo mejora el rendimiento de vanguardia en 0.5 puntos BLEU en la tarea de traducción del inglés al alemán del WMT 2014 y en 0.4 en la tarea de traducción del inglés al francés.