LLM2LLM: Aumentando LLMs com Nova Estratégia Iterativa de Aprimoramento de Dados

Modelos de linguagem de grande porte pré-treinados (LLMs) são atualmente a vanguarda para resolver a vasta maioria das tarefas de processamento de linguagem natural. Embora muitas aplicações do mundo real ainda exijam ajuste fino para atingir níveis satisfatórios de desempenho, muitas delas estão no regime de baixa dados, tornando o ajuste fino desafiador. Para abordar isso, propomos o LLM2LLM, uma estratégia de aumento de dados direcionada e iterativa que usa um LLM professor para aprimorar um pequeno conjunto de dados inicial, aumentando dados adicionais que podem ser usados para o ajuste fino em uma tarefa específica. O LLM2LLM (1) ajusta um LLM aluno de linha de base nos dados iniciais, (2) avalia e extrai pontos de dados que o modelo erra, e (3) usa um LLM professor para gerar dados sintéticos com base nesses pontos de dados incorretos, que são então reintegrados aos dados de treinamento. Esta abordagem amplifica o sinal dos pontos de dados previstos incorretamente pelo LLM durante o treinamento e os reintegra ao conjunto de dados para se concentrar em exemplos mais desafiadores para o LLM. Nossos resultados mostram que o LLM2LLM melhora significativamente o desempenho dos LLMs no regime de baixa dados, superando tanto o ajuste fino tradicional quanto outras linhas de base de aumento de dados. O LLM2LLM reduz a dependência de curadoria de dados que consome mão de obra e abre caminho para soluções de LLM mais escaláveis e eficientes, permitindo-nos enfrentar domínios e tarefas com restrições de dados. Obtivemos melhorias de até 24,2% no conjunto de dados GSM8K, 32,6% no CaseHOLD, 32,0% no SNIPS, 52,6% no TREC e 39,8% no SST-2 em relação ao ajuste fino regular no regime de baixa dados usando um modelo aluno LLaMA2-7B.