Aprendizado de Sequência Semi-supervisionado

Apresentamos duas abordagens que utilizam dados não rotulados para melhorar o aprendizado de sequências com redes recorrentes. A primeira abordagem é prever o que vem a seguir em uma sequência, que é um modelo de linguagem convencional no processamento de linguagem natural. A segunda abordagem é usar um autoencoder de sequência, que lê a sequência de entrada em um vetor e prevê novamente a sequência de entrada. Esses dois algoritmos podem ser usados como uma etapa de "pré-treinamento" para um algoritmo de aprendizado de sequência supervisionado posterior. Em outras palavras, os parâmetros obtidos da etapa não supervisionada podem ser usados como ponto de partida para outros modelos de treinamento supervisionado. Em nossos experimentos, descobrimos que redes recorrentes de memória de curto e longo prazo, após serem pré-treinadas com as duas abordagens, são mais estáveis e generalizam melhor. Com o pré-treinamento, conseguimos treinar redes recorrentes de memória de curto e longo prazo por até algumas centenas de passos de tempo, alcançando assim um desempenho forte em muitas tarefas de classificação de texto, como IMDB, DBpedia e 20 Newsgroups.