Mixup Não Linear: Aumento de Dados Fora do Manifold para Classificação de Texto

Aumento de dados com Mixup (Zhang et al. 2018) demonstrou ser um regularizador de modelo eficaz para as redes de classificação profundas de última geração. Ele gera amostras fora do manifold por meio da interpolação linear de entradas e seus rótulos correspondentes de pares de amostras aleatórias. Apesar de seus grandes sucessos, o Mixup requer combinação convexa das entradas, bem como dos alvos de modelagem de um par de amostras, limitando assim significativamente o espaço de suas amostras sintéticas e, consequentemente, seu efeito de regularização. Para lidar com essa limitação, propomos o "Mixup não linear". Ao contrário do Mixup, onde os pares de entrada e rótulo compartilham a mesma política de mistura escalar linear, nossa abordagem adota uma política de interpolação não linear para ambos os pares de entrada e rótulo, onde a política de mistura para os rótulos é aprendida de forma adaptativa com base na entrada misturada. Experimentos em conjuntos de dados de classificação de sentenças de referência indicam que nossa abordagem melhora significativamente o Mixup. Nossos estudos empíricos também mostram que as amostras fora do manifold geradas por nossa estratégia incentivam amostras de treinamento em cada classe a formarem um agrupamento de representação compacto que está longe de outros.