LLaMA et LLaVA en Amharique : LLM multimodaux pour les langues à faibles ressources

Les grands modèles de langage (LLM) comme GPT-4 et LLaMA ont montré une incroyable compétence dans les tâches de traitement du langage naturel et ont même commencé à exceller dans des tâches d'autres modalités telles que la vision et l'audio. Malgré leur succès, les LLM ont souvent du mal à bien performer sur les langues à faibles ressources en raison du peu de données d'entraînement disponibles. Ce problème est particulièrement présent avec les modèles open source. Dans ce travail, nous explorons l'entraînement de LLaMA-2 pour parler amharique, une langue parlée par plus de 50 millions de personnes dans le monde, mais dont la quantité de données disponibles est des ordres de grandeur inférieure à celles de langues comme l'anglais. Nous utilisons des méthodes auparavant utilisées pour former des LLM sur d'autres langues avec une rareté de données et utilisons des modèles de traduction open source pour effectuer une augmentation de données et faire croître notre ensemble de données de millions de tokens à des milliards. Nous améliorons encore les capacités de notre modèle en connectant un encodeur d'image et en nous entraînant sur un ensemble de données de réglage d'instructions visuelles traduit de la même manière que LLaVA, résultant en un LLM amharique multimodal capable de comprendre des images ainsi que du texte. Nous introduisons une version en amharique d'un ensemble de données d'évaluation populaire pour évaluer notre travail. Nos modèles et notre ensemble de données sont open source et disponibles sur GitHub.