Resposta a Perguntas Não Supervisionada por Tradução Cloze

Obter dados de treinamento para Resposta a Perguntas (QA) é demorado e intensivo em recursos, e os conjuntos de dados de QA existentes estão disponíveis apenas para domínios e idiomas limitados. Neste trabalho, exploramos até que ponto dados de treinamento de alta qualidade são realmente necessários para QA Extrativa e investigamos a possibilidade de QA Extrativa não supervisionada. Abordamos esse problema aprendendo primeiro a gerar trios de contexto, perguntas e respostas de maneira não supervisionada, que depois usamos para sintetizar dados de treinamento para QA Extrativa automaticamente. Para gerar tais trios, primeiramente amostramos parágrafos de contexto aleatórios de um grande conjunto de documentos e, em seguida, frases nominais ou menções de entidades nomeadas aleatórias desses parágrafos como respostas. Em seguida, convertemos respostas em contexto para perguntas "preencha-a-lacuna" cloze e, finalmente, as traduzimos em perguntas naturais. Propomos e comparamos várias maneiras não supervisionadas de realizar a tradução de cloze para perguntas naturais, incluindo o treinamento de um modelo NMT não supervisionado usando corpora não alinhados de perguntas naturais e perguntas cloze, bem como uma abordagem baseada em regras. Descobrimos que modelos de QA modernos podem aprender a responder a perguntas humanas de maneira surpreendentemente eficaz usando apenas dados de treinamento sintéticos. Demonstramos que, sem utilizar os dados de treinamento do SQuAD, nossa abordagem alcança 56,4 F1 no SQuAD v1 (64,5 F1 quando a resposta é uma menção de entidade nomeada), superando modelos supervisionados iniciais.