Um Modelo Recorrente Baseado em BERT para Geração de Perguntas

Neste estudo, investigamos o uso do modelo de linguagem BERT pré-treinado para enfrentar tarefas de geração de perguntas. Introduzimos três arquiteturas neurais construídas em cima do BERT para tarefas de geração de perguntas. A primeira é um emprego direto do BERT, que revela os defeitos do uso direto do BERT para geração de texto. Assim, propomos mais dois modelos reestruturando nosso uso do BERT de forma sequencial para captar informações de resultados decodificados anteriores. Nossos modelos são treinados e avaliados no recente conjunto de dados de perguntas e respostas SQuAD. Os resultados dos experimentos mostram que nosso melhor modelo apresenta desempenho de ponta, avançando a pontuação BLEU 4 dos melhores modelos existentes de 16,85 para 22,17.