Aproveitando as Capacidades Multifunção de Grandes Modelos de Linguagem para Respostas a Perguntas em Domínio Aberto

A resposta a perguntas em domínio aberto (ODQA) emergiu como um ponto focal de pesquisa crucial em sistemas de informação. Os métodos existentes seguem dois paradigmas principais para coletar evidências: (1) O paradigma recuperar-para-ler recupera documentos pertinentes de um corpus externo; e (2) o paradigma gerar-para-ler utiliza grandes modelos de linguagem (LLMs) para gerar documentos relevantes. No entanto, nenhum deles pode abordar plenamente os requisitos multifacetados para evidências. Para isso, propomos o LLMQA, uma estrutura generalizada que formula o processo ODQA em três etapas básicas: expansão de consulta, seleção de documentos e geração de respostas, combinando a superioridade tanto da evidência baseada em recuperação quanto da baseada em geração. Como os LLMs exibem suas excelentes capacidades para cumprir várias tarefas, instruímos os LLMs a desempenhar múltiplos papéis como geradores, reclassificadores e avaliadores dentro da nossa estrutura, integrando-os para colaborar no processo ODQA. Além disso, introduzimos um novo algoritmo de otimização de prompt para refinar prompts de atuação e direcionar os LLMs a produzir evidências e respostas de maior qualidade. Resultados experimentais extensivos em benchmarks amplamente utilizados (NQ, WebQ e TriviaQA) demonstram que o LLMQA alcança o melhor desempenho em termos de precisão de resposta e qualidade da evidência, destacando seu potencial para avançar a pesquisa e aplicações de ODQA.