Estudos recentes exploraram a combinação de diferentes LoRAs para gerar conjuntamente estilo e conteúdo aprendidos. No entanto, os métodos existentes falham em preservar efetivamente tanto o tema original quanto o estilo simultaneamente ou requerem treinamento adicional. Neste artigo, argumentamos que as propriedades intrínsecas da LoRA podem guiar efetivamente modelos de difusão na fusão de tema e estilo aprendidos. Com base nesse insight, propomos o K-LoRA, uma abordagem de fusão de LoRAs simples, mas eficaz, sem treinamento. Em cada camada de atenção, o K-LoRA compara os elementos Top-K em cada LoRA a ser fundida, determinando qual LoRA selecionar para uma fusão ideal. Esse mecanismo de seleção garante que as características mais representativas tanto do tema quanto do estilo sejam mantidas durante o processo de fusão, equilibrando efetivamente suas contribuições. Resultados experimentais demonstram que o método proposto integra de forma eficaz as informações de tema e estilo aprendidas pelas LoRAs originais, superando abordagens baseadas em treinamento state-of-the-art tanto em resultados qualitativos quanto quantitativos.
Ouyang et al. (Ter,) estudaram essa questão.