Melhorando Modelos de Tradução Automática Neural com Dados Monolíngues

A Tradução Automática Neural (NMT) obteve desempenho de ponta para várias pares de idiomas, enquanto usou apenas dados paralelos para treinamento. Dados monolíngues do lado alvo desempenham um papel importante na melhoria da fluência na tradução automática estatística baseada em frases, e investigamos o uso de dados monolíngues para NMT. Em contraste com trabalhos anteriores, que combinam modelos NMT com modelos linguísticos treinados separadamente, notamos que arquiteturas NMT baseadas em codificador-decodificador já têm a capacidade de aprender as mesmas informações que um modelo linguístico, e exploramos estratégias para treinar com dados monolíngues sem alterar a arquitetura da rede neural. Ao emparelhar dados de treinamento monolíngue com uma retrotradução automática, podemos tratá-los como dados de treinamento paralelos adicionais, e obtemos melhorias substanciais na tarefa WMT 15 Inglês-Alemão (+2.8-3.7 BLEU) e para a tarefa IWSLT 14 Turco-Inglês com poucos recursos (+2.1-3.4 BLEU), alcançando novos resultados de ponta. Também mostramos que o ajuste fino em dados monolíngues e paralelos dentro do domínio oferece melhorias substanciais para a tarefa IWSLT 15 Inglês-Alemão.