KET-QA: Um Conjunto de Dados para Resposta a Perguntas em Tabelas Com Conhecimento Aprimorado

Devido à natureza concisa e estruturada das tabelas, o conhecimento nelas contido pode estar incompleto ou ausente, apresentando um desafio significativo para sistemas de resposta a perguntas em tabelas (TableQA) e análise de dados. A maioria dos conjuntos de dados existentes falha em abordar a questão do conhecimento externo em TableQA ou utiliza apenas texto não estruturado como informação suplementar para tabelas. Neste artigo, propomos usar uma base de conhecimento (KB) como a fonte de conhecimento externo para TableQA e construir um conjunto de dados KET-QA com anotação de evidências ouro detalhadas. Cada tabela no conjunto de dados corresponde a um subgrafo da KB inteira, e cada pergunta requer a integração de informações tanto da tabela quanto do subgrafo para ser respondida. Para extrair informações pertinentes do vasto subgrafo de conhecimento e aplicá-las ao TableQA, projetamos um modelo de pipeline estruturado de recuperador-raciocinador. Resultados experimentais demonstram que nosso modelo alcança consistentemente melhorias de desempenho relativas notáveis que variam de 1,9 a 6,5 vezes e melhorias absolutas de 11,66% a 44,64% nas pontuações EM em três configurações distintas (ajuste fino, zero-shot e few-shot), em comparação com a dependência exclusiva das informações da tabela da maneira tradicional de TableQA. No entanto, mesmo o melhor modelo alcança uma pontuação EM de 60,23%, que ainda fica abaixo do desempenho em nível humano, destacando a natureza desafiadora do KET-QA para a comunidade de resposta a perguntas. Também fornecemos uma avaliação humana de casos de erro para analisar mais a fundo os aspectos nos quais o modelo pode ser melhorado. Página do projeto: https://ketqa.github.io/.