Otimização de Hiperparâmetros Custo-Efetiva para Inferência de Geração de Modelos de Linguagem Grande

Modelos de Linguagem Grande (LLMs) despertaram um interesse significativo em suas capacidades generativas, levando ao desenvolvimento de várias aplicações comerciais. O alto custo de uso dos modelos leva os construtores de aplicativos a maximizar o valor da geração dentro de um orçamento de inferência limitado. Este artigo apresenta um estudo sobre a otimização de hiperparâmetros de inferência, como o número de respostas, temperatura e max tokens, que afetam significativamente a utilidade/custo da geração de texto. Nós projetamos uma estrutura chamada EcoOptiGen que aproveita a otimização econômica de hiperparâmetros e a poda baseada em custo. Experimentos com os modelos GPT-3.5/GPT-4 em uma variedade de tarefas verificam sua eficácia. O EcoOptiGen está implementado no pacote `autogen` da biblioteca FLAML: https://aka.ms/autogen.