Evaluando LLM-como-Juez con MT-Bench y Chatbot Arena

Evaluar asistentes de chat basados en grandes modelos de lenguaje (LLM) es un desafío debido a sus amplias capacidades y la inadecuación de las métricas existentes para medir las preferencias humanas. Para abordar esto, exploramos el uso de LLMs robustos como jueces para evaluar estos modelos en preguntas más abiertas. Examinamos el uso y las limitaciones de LLM-como-juez, incluyendo sesgos de posición, verbosidad y auto-mejoramiento, así como una capacidad de razonamiento limitada, y proponemos soluciones para mitigar algunos de ellos. Luego verificamos el acuerdo entre los jueces LLM y las preferencias humanas introduciendo dos métricas: MT-bench, un conjunto de preguntas de múltiples turnos; y Chatbot Arena, una plataforma de batalla crowdsourced. Nuestros resultados revelan que jueces LLM robustos como GPT-4 pueden coincidir bien tanto con preferencias humanas controladas como crowdsourced, alcanzando más del 80% de acuerdo, el mismo nivel de acuerdo entre humanos. Por lo tanto, LLM-como-juez es una manera escalable y explicable de aproximar las preferencias humanas, que de otro modo son muy costosas de obtener. Además, mostramos que nuestra métrica y las métricas tradicionales se complementan entre sí al evaluar varias variantes de LLaMA y Vicuna. Las preguntas de MT-bench, 3K votos de expertos y 30K conversaciones con preferencias humanas están disponibles públicamente en https://github.com/lm-sys/FastChat/tree/main/fastchat/llmⱼudge.