Un LLM peut-il induire un graphe ? Enquête sur la dérive de la mémoire et la longueur du contexte

Les benchmarks d'évaluation récemment proposés visent à caractériser la longueur de contexte effective et les tendances à l'oubli des grands modèles de langage (LLM). Cependant, ces benchmarks reposent souvent sur des tâches de récupération ou de continuation simplistes, du type 'aiguille dans une botte de foin', qui peuvent ne pas refléter avec précision la performance de ces modèles dans des scénarios riches en information. Ainsi, plutôt que de se limiter à la simple prédiction du prochain token, nous plaidons pour évaluer ces modèles sur des tâches de raisonnement plus complexes qui nécessitent d’extraire une connaissance relationnelle structurée du texte - comme des graphes à partir d’un contenu en langage naturel potentiellement bruyant. Bien que le texte d'entrée puisse être considéré comme généré en termes de graphe, sa structure n'est pas explicitement révélée et les connexions doivent être induites à partir d'indices textuels distribués, séparés par de longs contextes et interspersés d'informations non pertinentes. Nos résultats révèlent que les LLM commencent à montrer une dérive de mémoire et un oubli contextuel à des longueurs effectives beaucoup plus courtes lorsqu'ils sont chargés de ce type de raisonnement relationnel, par rapport à ce que suggèrent les benchmarks existants. Avec ces résultats, nous offrons des recommandations pour l'utilisation optimale des LLM populaires pour des tâches de raisonnement complexes. Nous montrons en outre que même les modèles spécialisés dans le raisonnement, tels que OpenAI o1, demeurent vulnérables à une dérive de mémoire précoce dans ces contextes. Ces résultats soulignent des limitations significatives dans la capacité des modèles à abstraire une connaissance structurée d'une entrée non structurée et mettent en évidence la nécessité d'adaptations architecturales pour améliorer le raisonnement à long terme.