La atención cruzada es todo lo que necesitas: adaptando transformadores preentrenados para la traducción automática

Estudiamos el poder de la atención cruzada en la arquitectura Transformer dentro del contexto del aprendizaje por transferencia para la traducción automática, y ampliamos los hallazgos de estudios sobre la atención cruzada al entrenar desde cero. Realizamos una serie de experimentos a través del ajuste fino de un modelo de traducción en datos donde cambia el idioma fuente o el idioma objetivo. Estos experimentos revelan que ajustar finamente solo los parámetros de la atención cruzada es casi tan efectivo como ajustar finamente todos los parámetros (es decir, todo el modelo de traducción). Proporcionamos información sobre por qué este es el caso y observamos que limitar el ajuste fino de esta manera da como resultado incrustaciones alineadas de manera cruzada. Las implicaciones de este hallazgo para investigadores y profesionales incluyen una mitigación del olvido catastrófico, el potencial para una traducción cero disparos y la capacidad de extender modelos de traducción automática a varios nuevos pares de idiomas con una reducción en la sobrecarga de almacenamiento de parámetros.