PRePair: Raciocínio Pontual Aprimora Avaliação Par a Par para Avaliações Robustes de Seguir Instruções

A avaliação par a par usando grandes modelos de linguagem (LLMs) é amplamente utilizada para avaliar tarefas de geração de linguagem natural (NLG). No entanto, a confiabilidade dos LLMs é frequentemente comprometida por preconceitos, como favorecer verbosidade e tom autoritário. Neste estudo, focamos na comparação de duas abordagens de avaliação baseadas em LLM: pontual e par a par. Nossos achados demonstram que avaliadores pontuais exibem mais robustez contra preferências indesejáveis. Uma análise adicional revela que avaliadores par a par podem identificar com precisão as deficiências de saídas de baixa qualidade, mesmo quando seu julgamento está incorreto. Esses resultados indicam que os LLMs são mais severamente influenciados por seus preconceitos em um cenário de avaliação par a par. Para mitigar isso, propomos um método híbrido que integra raciocínio pontual à avaliação par a par. Resultados experimentais mostram que nosso método aprimora a robustez dos avaliadores par a par contra amostras adversariais, mantendo a precisão em amostras normais.