Diversificação de Dados: Uma Estratégia Simples para Tradução Automática Neural

Nós apresentamos a Diversificação de Dados: uma estratégia simples, mas eficaz, para melhorar o desempenho da tradução automática neural (NMT). Ela diversifica os dados de treinamento utilizando as previsões de múltiplos modelos de avanço e retrocesso e, em seguida, os combina com o conjunto de dados original no qual o modelo final de NMT é treinado. Nosso método é aplicável a todos os modelos de NMT. Ele não requer dados monolíngues extras, como a retrotradução, nem adiciona mais cálculos e parâmetros como ensembles de modelos. Nosso método alcança pontuações BLEU de ponta de 30,7 e 43,7 nas tarefas de tradução Inglês-Alemão e Inglês-Francês do WMT'14, respectivamente. Ele também melhora substancialmente em outras 8 tarefas de tradução: 4 tarefas IWSLT (Inglês-Alemão e Inglês-Francês) e 4 tarefas de tradução de baixos recursos (Inglês-Nepalês e Inglês-Sinhala). Demonstramos que nosso método é mais eficaz do que a destilação de conhecimento e o aprendizado dual, exibe forte correlação com ensembles de modelos, e troca perplexidade por melhor pontuação BLEU. Liberamos nosso código-fonte em https://github.com/nxphi47/datadiversification.