MindMerger : Amélioration Efficace du Raisonnement des LLM en Langues Non Anglaises

Les capacités de raisonnement sont cruciales pour les Modèles de Langage de Grande Taille (LLM), cependant, un écart notable existe entre l'anglais et les langues non anglaises. Pour combler cette disparité, certaines études ajustent les LLM pour réapprendre les capacités de raisonnement dans des langues non anglaises, tandis que d'autres remplacent les entrées non anglaises par les sorties d'un modèle externe, tel que le texte de traduction anglaise, pour contourner le défi de la compréhension des langues non anglaises par les LLM. Malheureusement, ces méthodes exploitent souvent insuffisamment les capacités de raisonnement habiles intégrées et la compréhension linguistique utile des LLM. Afin de mieux utiliser les capacités de raisonnement et de compréhension linguistique des LLM, nous proposons une nouvelle méthode, à savoir MindMerger, qui fusionne les LLM avec les capacités de compréhension linguistique externes des modèles multilingues pour améliorer la performance de raisonnement multilingue. De plus, un schéma de formation en deux étapes est introduit pour d'abord entraîner l'intégration des capacités externes dans les LLM, puis former l'utilisation collaborative des capacités externes et des capacités intégrées des LLM. Les expériences sur trois ensembles de données de raisonnement multilingue et un ensemble de données de compréhension linguistique démontrent que MindMerger surpasse systématiquement toutes les références, en particulier dans les langues à faibles ressources. Sans mettre à jour les paramètres des LLM, la précision moyenne a augmenté de 6,7 % et 8,0 % dans toutes les langues et dans les langues à faibles ressources sur l'ensemble de données MGSM, respectivement.