Mistura de LoRAs: Um Ajuste Multitarefa Eficiente para Modelos de Linguagem Grandes

O Ajuste de Instruções tem o potencial de estimular ou aprimorar capacidades específicas de grandes modelos de linguagem (LLMs). No entanto, alcançar o equilíbrio certo de dados é crucial para prevenir o esquecimento catastrófico e a interferência entre tarefas. Para abordar essas limitações e melhorar a flexibilidade de treinamento, propomos a arquitetura Mixture-of-LoRAs (MoA), que é um método de ajuste novo e eficiente em parâmetros, projetado para aprendizado multitarefa com LLMs. Neste artigo, começamos treinando individualmente múltiplos módulos LoRA específicos de domínio usando dados de corpus supervisionados correspondentes. Esses módulos LoRA podem ser alinhados com os princípios de design de especialistas observados em Mixture-of-Experts (MoE). Subsequentemente, combinamos os múltiplos LoRAs usando uma estratégia de roteamento explícita e introduzimos rótulos de domínio para facilitar o aprendizado multitarefa, o que ajuda a prevenir a interferência entre tarefas e, em última instância, melhora o desempenho de cada tarefa individual. Além disso, cada modelo LoRA pode ser adaptado iterativamente para um novo domínio, permitindo uma rápida adaptação específica de domínio. Experimentos em diversas tarefas demonstram desempenho superior e robusto, o que pode promover ainda mais a ampla aplicação de LLMs específicos de domínio.