Segmentation des mots en arabe informel avec adaptation au domaine

La segmentation des clitiques a montré qu'elle améliorait la précision sur une variété de tâches NLP en arabe. Cependant, les segmentateurs de mots arabes à la pointe de la technologie sont soit limités à l'arabe standard moderne formel, fonctionnant mal sur des textes arabes contenant un vocabulaire et une grammaire dialectaux, soit reposent sur des connaissances linguistiques ajustées manuellement pour chaque dialecte. Nous étendons un segmentateur MSA existant avec une technique simple d'adaptation au domaine et de nouvelles fonctionnalités afin de segmenter des textes arabes informels et dialectaux. Les expériences montrent que notre système surpasse les systèmes existants sur les fils d'actualité, les nouvelles diffusées et le dialecte égyptien, améliorant le score F1 de segmentation sur un corpus récemment publié en arabe égyptien à 95,1 %, contre 90,8 % pour un autre segmentateur conçu spécifiquement pour l'arabe égyptien. 1