Key points are not available for this paper at this time.
O progresso recente na resposta a perguntas factuais de domínio aberto (QA) não é facilmente transferido para a tarefa de QA de longa duração, onde o objetivo é responder perguntas que requerem explicações detalhadas. Os obstáculos incluem a falta de dados de alta qualidade e a ausência de uma noção bem definida da qualidade da resposta. Neste trabalho, abordamos esses problemas ao lançar um novo conjunto de dados e uma tarefa que chamamos de ASQA (Resumos de Respostas para Perguntas que são Ambíguas); e propondo uma métrica confiável para medir o desempenho na ASQA. Nossa tarefa foca em perguntas factuais ambíguas que possuem diferentes respostas corretas dependendo da interpretação. As respostas a perguntas ambíguas devem combinar informações factuais de múltiplas fontes em um resumo longo coerente que resolva a ambiguidade. Em contraste com as tarefas existentes de QA de longa duração (como o ELI5), a ASQA admite uma noção clara de correção: um usuário enfrentando um bom resumo deve ser capaz de responder a diferentes interpretações da pergunta ambígua original. Nossa análise demonstra um acordo entre essa métrica e os julgamentos humanos, e revela uma lacuna considerável entre o desempenho humano e as linhas de base fortes.
Stelmakh et al. (Sat,) estudaram esta questão.