Treinando um Modelo de LLM como Juiz: Pipeline, Insights e Lições Práticas

O rápido avanço dos modelos de linguagem de grande porte (LLMs) abriu novas possibilidades para sua adoção como juízes avaliativos. Este artigo apresenta Themis, um juiz LLM finamente ajustado que oferece avaliações sofisticadas e cientes do contexto. Fornecemos uma visão abrangente do pipeline de desenvolvimento do Themis, destacando seus prompts de avaliação dependentes do cenário e dois métodos inovadores para geração controlada de instruções. Esses designs permitem que o Themis destile eficazmente habilidades avaliativas de modelos de professores, enquanto mantém flexibilidade para desenvolvimento contínuo. Introduzimos dois benchmarks rotulados por humanos para metaavaliação, demonstrando que o Themis pode alcançar alta alinhamento com preferências humanas de maneira econômica. Além disso, exploramos insights sobre o paradigma LLM como juiz, revelando nuances no desempenho e os variados efeitos de respostas de referência. Notavelmente, observamos que a destilação de conhecimento puro de LLMs fortes, embora comum, não garante melhoria de desempenho por meio da escalabilidade. Propondo uma estratégia de mitigação baseada na dificuldade de seguir instruções. Além disso, fornecemos diretrizes práticas abrangendo balanceamento de dados, personalização de prompts, treinamento multi-objetivo e agregação de métricas. Nosso objetivo é que nosso método e descobertas, juntamente com os dados de ajuste fino, benchmarks e pontos de verificação do modelo, apoiem futuras pesquisas e desenvolvimento nesta área.