Deixe os LLMs Conversarem: Simulando QA Conversacional Humano-a-Humano por meio de Interações Zero-Shot LLM-a-LLM

Os sistemas CQA visam criar sistemas de busca interativos que recuperem informações de forma eficaz ao interagir com os usuários. Para replicar conversas humano-a-humano, trabalhos existentes usam anotadores humanos para desempenhar os papéis de questionador (estudante) e respondedor (professor). Apesar de sua eficácia, existem desafios, pois a anotação humana é demorada, inconsistente e não escalável. Para abordar essa questão e investigar a aplicabilidade do LLM na simulação de CQA, propomos uma estrutura de simulação que emprega um LLM aprendiz zero-shot para simular interações entre professor e aluno. Nossa estrutura envolve dois LLMs interagindo sobre um tópico específico, com o primeiro LLM atuando como um estudante, gerando perguntas para explorar um determinado tópico de pesquisa. O segundo LLM desempenha o papel de professor, respondendo a perguntas e está equipado com informações adicionais, incluindo um texto sobre o tópico em questão. Implementamos tanto o estudante quanto o professor por meio de prompting zero-shot do modelo GPT-4. Para avaliar a eficácia dos LLMs na simulação de interações CQA e entender as disparidades entre conversas geradas por LLMs e por humanos, avaliamos os dados simulados de várias perspectivas. Começamos avaliando o desempenho do professor por meio de avaliação automática e humana. Em seguida, avaliamos o desempenho do estudante, analisando e comparando as disparidades entre perguntas geradas pelo LLM e aquelas geradas por humanos. Além disso, realizamos análises extensivas para examinar minuciosamente o desempenho do LLM, comparando-o com modelos de compreensão de leitura de última geração em ambos os conjuntos de dados. Nossos resultados revelam que o LLM professor gera respostas mais longas que tendem a ser mais precisas e completas. O LLM estudante gera perguntas mais diversas, cobrindo mais aspectos de um tópico específico.