Ajuste Fino de Baixo Custo de LLMs para Tarefas Específicas de Domínio

Modelos de Linguagem de Grande Escala (LLMs) como GPT e LLaMA demonstraram capacidades notáveis em diversas aplicações de processamento de linguagem natural (NLP). No entanto, seus enormes requisitos computacionais e de memória dificultam a adoção por laboratórios de pesquisa menores e empresas. O ajuste fino em grande escala de tais modelos é frequentemente inviável devido ao alto consumo de memória de GPU, armazenamento e energia. As técnicas de Ajuste Fino Eficiente em Parâmetros (PEFT), incluindo Adaptação de Baixo Rango (LoRA), métodos baseados em adaptadores e prefix-tuning, apresentam uma alternativa para adaptar LLMs a tarefas específicas em orçamentos restritos. Apesar do progresso em PEFT para benchmarks gerais de NLP, pouca atenção tem sido dada a aplicações específicas de domínio, como saúde e energia, onde o conhecimento especializado é crítico. Esta pesquisa investiga estratégias de ajuste fino de baixo custo para adaptação de LLMs a domínios, identifica os desafios de ambientes restritos e avalia estruturas práticas que equilibram eficiência e desempenho. Resultados experimentais demonstram que os métodos baseados em LoRA e adaptadores alcançam precisão competitiva enquanto reduzem drasticamente os parâmetros treináveis e os custos computacionais, tornando-os altamente adequados para configurações com recursos limitados.