Revisiter la capacité de raisonnement graphique des grands modèles de langage : études de cas en traduction, connectivité et problème du plus court chemin

Les grands modèles de langage (LLM) ont connu un grand succès dans diverses tâches de raisonnement. Dans ce travail, nous nous concentrons sur la capacité de raisonnement graphique des LLM. Bien que des études théoriques aient prouvé que les LLM sont capables de gérer des tâches de raisonnement graphique, des évaluations empiriques révèlent de nombreux échecs. Pour approfondir notre compréhension de cette discrimination, nous revisitons la capacité des LLM sur trois tâches graphiques fondamentales : la traduction de descriptions graphiques, la connectivité graphique et le problème du plus court chemin. Nos résultats suggèrent que les LLM peuvent échouer à comprendre les structures graphiques à travers des descriptions textuelles et présentent des performances variables pour ces trois tâches fondamentales. Parallèlement, nous réalisons une enquête dans le monde réel sur les graphes de connaissances et faisons des observations cohérentes avec nos résultats. Les codes et ensembles de données sont disponibles.