Avaliação da Qualidade de Recuperação em Geração Aumentada por Recuperação

Avaliar a geração aumentada por recuperação (RAG) apresenta desafios, particularmente para modelos de recuperação dentro desses sistemas. Métodos tradicionais de avaliação de ponta a ponta são computacionalmente caros. Além disso, a avaliação do desempenho do modelo de recuperação com base em rótulos de relevância de consulta-documento mostra uma pequena correlação com o desempenho posterior do sistema RAG. Propomos uma nova abordagem de avaliação, eRAG, onde cada documento na lista de recuperação é utilizado individualmente pelo grande modelo de linguagem dentro do sistema RAG. A saída gerada para cada documento é então avaliada com base nos rótulos de verdade do solo da tarefa posterior. Dessa forma, o desempenho posterior para cada documento serve como seu rótulo de relevância. Empregamos várias métricas de tarefa posterior para obter anotações em nível de documento e agregá-las usando métricas baseadas em conjuntos ou de classificação. Experimentos extensivos em uma ampla gama de conjuntos de dados demonstram que o eRAG alcança uma correlação maior com o desempenho posterior do RAG em comparação com métodos de linha de base, com melhorias na correlação tau de Kendall variando de 0,168 a 0,494. Além disso, o eRAG oferece vantagens computacionais significativas, melhorando o tempo de execução e consumindo até 50 vezes menos memória da GPU do que a avaliação de ponta a ponta.