CommonsenseQA: Um Desafio de Resposta a Perguntas Focando no Conhecimento de Senso Comum

Ao responder a uma pergunta, as pessoas geralmente se baseiam em seu rico conhecimento do mundo, além do contexto particular. Trabalhos recentes têm se concentrado principalmente em responder questões com base em algum documento ou contexto relevante, e exigiram muito pouco conhecimento geral. Para investigar a resposta a perguntas com conhecimento prévio, apresentamos o CommonsenseQA: um novo conjunto de dados desafiador para resposta a perguntas de senso comum. Para capturar o senso comum além das associações, extraímos do ConceptNet (Speer et al., 2017) vários conceitos-alvo que têm a mesma relação semântica com um único conceito de origem. Trabalhadores da multidão são solicitados a elaborar perguntas de múltipla escolha que mencionem o conceito de origem e discriminem entre cada um dos conceitos-alvo. Isso incentiva os trabalhadores a criar perguntas com semântica complexa que frequentemente requerem conhecimento prévio. Criamos 12.247 perguntas por meio deste procedimento e demonstramos a dificuldade de nossa tarefa com um grande número de fortes linhas de base. Nossa melhor linha de base é baseada no BERT-large (Devlin et al., 2018) e obtém 56% de precisão, bem abaixo do desempenho humano, que é de 89%.