GLBench : un benchmark complet pour les graphiques avec de grands modèles de langage

L'émergence de grands modèles de langage (LLMs) a révolutionné notre interaction avec les graphiques, menant à un nouveau paradigme appelé GraphLLM. Malgré le développement rapide des méthodes GraphLLM ces dernières années, les progrès et la compréhension de ce domaine restent flous en raison du manque d'un benchmark avec des protocoles expérimentaux cohérents. Pour combler cette lacune, nous introduisons GLBench, le premier benchmark complet pour évaluer les méthodes GraphLLM dans des scénarios supervisés et zéro-shot. GLBench fournit une évaluation équitable et approfondie de différentes catégories de méthodes GraphLLM, ainsi que des références traditionnelles telles que les réseaux de neurones graphiques. Grâce à des expériences approfondies sur une collection de jeux de données du monde réel avec des stratégies de traitement et de découpe de données cohérentes, nous avons révélé plusieurs résultats clés. Tout d'abord, les méthodes GraphLLM surpassent les références traditionnelles dans des contextes supervisés, les LLM en tant que renforceurs montrant les performances les plus solides. Cependant, utiliser les LLM comme prédicteurs est moins efficace et entraîne souvent des problèmes de sortie incontrôlables. Nous notons également qu'aucune loi de scalabilité claire n'existe pour les méthodes GraphLLM actuelles. De plus, tant les structures que les sémantiques sont cruciales pour un transfert efficace en zéro-shot, et notre baseline simple proposée peut même surpasser plusieurs modèles adaptés aux scénarios zéro-shot. Les données et le code du benchmark peuvent être trouvés sur https://github.com/NineAbyss/GLBench.