Avancées dans les représentations de mots distribués pré-entrainées

De nombreuses applications de traitement du langage naturel reposent aujourd'hui sur des représentations de mots pré-entrainées estimées à partir de grands corpus de texte tels que des collections d'actualités, Wikipédia et le Web Crawl. Dans cet article, nous montrons comment entraîner des représentations vectorielles de mots de haute qualité en utilisant une combinaison de techniques connues qui sont cependant rarement utilisées ensemble. Le principal résultat de notre travail est le nouvel ensemble de modèles pré-entrainés disponibles publiquement qui surpassent les performances actuelles de l'état de l'art dans un certain nombre de tâches.