Detectando Erros de Alucinação e Cobertura em Geração Aumentada por Recuperação para Tópicos Controversos

Exploramos uma estratégia para lidar com tópicos controversos em chatbots baseados em LLM com base no princípio do Ponto de Vista Neutro (NPOV) da Wikipédia: reconhecer a ausência de uma única resposta verdadeira e apresentar múltiplas perspectivas. Enquadramos isso como geração aumentada por recuperação, onde as perspectivas são recuperadas de uma base de conhecimento e o LLM é encarregado de gerar uma resposta fluente e fiel a partir das perspectivas apresentadas. Como ponto de partida, usamos um sistema de recuperação determinístico e, em seguida, focamos nos modos de falha comuns do LLM que surgem durante essa abordagem de geração de texto, nomeadamente alucinação e erros de cobertura. Propomos e avaliamos três métodos para detectar tais erros com base em (1) sobreposição de palavras, (2) saliência e (3) classificadores baseados em LLM. Nossos resultados demonstram que classificadores baseados em LLM, mesmo quando treinados apenas em erros sintéticos, alcançam alto desempenho na detecção de erros, com pontuações de ROC AUC de 95,3% para detecção de alucinação e 90,5% para detecção de erros de cobertura em casos de erro inequívocos. Mostramos que, quando não há dados de treinamento disponíveis, nossos outros métodos ainda produzem bons resultados na detecção de alucinação (84,0%) e erro de cobertura (85,2%).