Pense Duas Vezes Antes de Acreditar: Estimativa de Confiança para Grandes Modelos de Linguagem através da Reflexão sobre Múltiplas Respostas

A estimativa de confiança visando avaliar a confiabilidade da saída é crucial para a aplicação de grandes modelos de linguagem (LLM), especialmente os de caixa-preta. A estimativa de confiança existente para LLM geralmente não é calibrada devido à superconfiança dos LLM em suas respostas incorretas geradas. As abordagens existentes que abordam a questão da superconfiança enfrentam uma limitação significativa, pois consideram apenas a confiança de uma resposta gerada pelo LLM. Para lidar com essa limitação, propomos um novo paradigma que avalia minuciosamente a confiabilidade de múltiplas respostas candidatas para mitigar a superconfiança em respostas incorretas. Com base nesse paradigma, introduzimos um framework em duas etapas, que primeiro instrui o LLM a refletir e fornecer justificativas para cada resposta, e depois agrega as justificativas para uma estimativa de confiança abrangente. Esse framework pode ser integrado com abordagens existentes de estimativa de confiança para uma calibração superior. Resultados experimentais em seis conjuntos de dados de três tarefas demonstram a racionalidade e eficácia do framework proposto.