Application de l'embedding de mots en mathématiques pour la recherche et l'extraction sémantique

Résumé L'embedding de mots, qui représente des mots individuels par des vecteurs de longueur fixe sémantiques, a permis d'appliquer avec succès l'apprentissage profond aux tâches de traitement du langage naturel telles que la modélisation de rôles sémantiques, la réponse à des questions et la traduction automatique. Comme le texte mathématique consiste en texte naturel, ainsi qu'en expressions mathématiques qui présentent également des caractéristiques de corrélation linéaire et contextuelles, les techniques d'embedding de mots peuvent également être appliquées aux documents mathématiques. Cependant, bien que les mathématiques soient une science précise et exacte, elles sont généralement exprimées par des descriptions imprécises et moins exactes, contribuant à la relative rareté des applications de l'apprentissage automatique pour la récupération d'informations dans ce domaine. En général, les documents mathématiques communiquent leur savoir avec un langage ambigu, dépendant du contexte et non formel. Étant donné les avancées récentes dans l'embedding de mots, il est intéressant d'explorer leur utilisation et leur efficacité dans les tâches de récupération d'information mathématique, telles que le traitement du langage mathématique et l'extraction de connaissances sémantiques. Dans cet article, nous explorons l'embedding mathématique en le testant sur plusieurs scénarios différents, à savoir : (1) similitude des termes mathématiques, (2) analogie, (3) modélisation de concepts numériques basée sur le centre de gravité des mots-clés qui caractérisent un concept, (4) recherche mathématique utilisant des expansions de requêtes, et (5) extraction sémantique, c'est-à-dire extraire des phrases descriptives pour des expressions mathématiques. En raison du manque de références, nos investigations ont été réalisées en utilisant la collection arXiv de documents STEM et des illustrations soigneusement sélectionnées dans la Bibliothèque numérique des fonctions mathématiques (DLMF : bibliothèque numérique NIST des fonctions mathématiques. Version 1.0.20 du 1er septembre 2018). Nos résultats montrent que l'embedding mathématique offre beaucoup de promesses pour les tâches de similitude, d'analogie et de recherche. Cependant, nous avons également observé la nécessité de méthodes d'embedding mathématique plus robustes. De plus, nous explorons et discutons des questions fondamentales qui, selon nous, entravent les progrès dans la récupération d'informations mathématiques en direction de l'apprentissage automatique.