LoraMap : Exploiter la puissance des connexions LoRA

Les modèles de langage de grande taille (LLMs) peuvent bénéficier de la réduction des hallucinations grâce à la vérification des faits et à la surmontée de la surcharge computationnelle substantielle avec des techniques efficaces en paramètres telles que l'adaptation de faible rang (LoRA). Bien que certaines études aient exploré l'intégration parallèle de plusieurs LoRAs, ces approches nécessitent une attention particulière aux connexions entre elles. Cet article examine des méthodes pour établir des connexions entre plusieurs LoRAs. Nous créons trois ensembles de données de raisonnement adaptés à la vérification des faits et affinons les LoRAs individuels, leur permettant de voir et de raisonner à partir de perspectives diverses. Ensuite, nous explorons des stratégies pour allouer ces LoRAs de raisonnement et introduisons LoraMap, une approche pour cartographier les connexions entre elles. Les résultats sur la tâche de vérification des faits montrent que la performance de LoraMap est supérieure à celle de LoraHub, une méthode existante de composition LoRA. LoraMap surpasse également avec un nombre de paramètres significativement inférieur à celui de LoraConcat, qui concatène les LoRAs et les affine davantage.