FaseehGPT : Un modèle Transformer léger pour la génération de texte arabe avec une compréhension morphologique améliorée

Nous présentons FaseehGPT, un modèle de langage spécialisé basé sur un transformeur conçu pour une génération de texte arabe de haute qualité dans des environnements à ressources limitées. Contrairement aux modèles de langue arabe existants qui se concentrent principalement sur les tâches de compréhension, FaseehGPT est optimisé pour les applications génératives tout en maintenant une efficacité computationnelle adaptée au déploiement sur du matériel grand public. Le modèle utilise une architecture transformeur à décodeur unique avec 70,7 millions de paramètres, entraîné sur un corpus soigneusement sélectionné de 8,7 millions de textes arabes couvrant des tweets familiers, des articles de presse formels et de la littérature classique. Notre approche exploite la richesse morphologique de l’arabe via une tokenisation stratégique utilisant un tokenizer Arabic BERT pré-entraîné, permettant une gestion efficace des motifs dérivationnels et flexionnels complexes de la langue. Une évaluation approfondie démontre la capacité de FaseehGPT à générer un texte cohérent et contextuellement approprié à travers plusieurs variétés et registres de l’arabe. Le modèle atteint des performances compétitives tout en nécessitant significativement moins de ressources computationnelles que les systèmes comparables, avec un entraînement réalisé sur un unique GPU NVIDIA T4. Nous fournissons des détails techniques complets, des procédures d’entraînement reproductibles, et mettons à disposition le modèle complet ainsi que le code source pour faire progresser la recherche en TAL arabe. Les métriques d’évaluation montrent une amélioration constante au fil des époques d’entraînement, avec des scores finaux de perplexité indiquant une forte performance de modélisation linguistique comparable à des modèles plus grands dans le domaine arabe. https://huggingface.co/alphatechlogics/FaseehGPT