CM-Align : Alignement multilingue basé sur la cohérence pour les grands modèles de langage

Les grands modèles de langage (LLMs) actuels montrent généralement un écart de performance significatif dans l'alignement entre l'anglais et d'autres langues. Pour combler cet écart, les recherches existantes tirent généralement parti des réponses du modèle en anglais comme référence pour sélectionner les meilleures/pire réponses dans d'autres langues, qui sont ensuite utilisées pour l'entraînement par optimisation de préférence directe (DPO). Cependant, nous soutenons qu'il existe deux limitations dans les méthodes actuelles qui entraînent des données de préférence multilingues bruyantes et une performance d'alignement limitée : 1) Toutes les réponses en anglais ne sont pas de haute qualité, et l'utilisation d'une réponse de faible qualité peut induire en erreur l'alignement pour d'autres langues. 2) Les méthodes actuelles utilisent généralement des approches biaisées ou heuristiques pour construire des paires de préférences multilingues. Pour remédier à ces limitations, nous concevons une méthode de sélection de données basée sur la cohérence pour construire des données de préférence multilingues de haute qualité visant à améliorer l'alignement multilingue (CM-Align). Plus précisément, notre méthode comprend deux parties : la sélection de référence en anglais guidée par la cohérence et la construction de données de préférence multilingues basée sur la cohérence interlangues. Les résultats expérimentaux sur trois LLMs et trois tâches courantes démontrent l'efficacité et la supériorité de notre méthode, ce qui indique également la nécessité de construire des données de préférence de haute qualité.