Mixup-Transformer: Aumento Dinâmico de Dados para Tarefas de PLN

Mixup mostrou forte efetividade na classificação de imagens ao interpolar imagens no nível de pixel. Inspirados por essa linha de pesquisa, neste artigo, exploramos: i) como aplicar mixup a tarefas de processamento de linguagem natural, uma vez que os dados textuais dificilmente podem ser misturados em formato bruto; ii) se o mixup ainda é eficaz em modelos de aprendizado baseados em transformadores, por exemplo, BERT. Para atingir o objetivo, incorporamos mixup à arquitetura pré-treinada baseada em transformadores, chamada "mixup-transformer", para uma ampla gama de tarefas de PLN, enquanto mantemos todo o sistema de treinamento de ponta a ponta. Avaliamos a estrutura proposta realizando extensos experimentos no benchmark GLUE. Além disso, também examinamos o desempenho do mixup-transformer em cenários de baixa recursos, reduzindo os dados de treinamento em uma certa proporção. Nossos estudos mostram que o mixup é uma técnica de aumento de dados independente de domínio para modelos de linguagem pré-treinados, resultando em uma melhoria significativa de desempenho para modelos baseados em transformadores.