Vers une utilisation pratique des outils pour l'apprentissage continu des LLMs

Les grands modèles de langage (LLMs) montrent une aptitude innée à résoudre des tâches basées sur le langage. Cependant, des analyses ont suggéré une incapacité à s'ajuster aux informations ou aux compétences de résolution de tâches devenant obsolètes, car leurs connaissances, stockées directement dans leurs paramètres, restent statiques dans le temps. L'utilisation d'outils aide en déchargeant une partie du travail vers des systèmes auxquels le LLM peut accéder via une interface, mais les LLMs qui les utilisent doivent encore s'adapter à des environnements non stationnaires pour une utilisation prolongée, car de nouveaux outils peuvent émerger et les outils existants peuvent changer. Néanmoins, les outils nécessitent moins de connaissances spécialisées, nous hypothésons donc qu'ils sont mieux adaptés à l'apprentissage continu (CL) car ils dépendent moins de la mémoire paramétrique pour résoudre des tâches et se concentrent plutôt sur l'apprentissage du moment d'appliquer des outils pré-définis. Pour vérifier cela, nous développons une référence synthétique et suivons cela en agrégant des tâches NLP existantes pour former un scénario de test plus réaliste. Bien que nous démontrions que l'augmentation de la taille du modèle n'est pas une solution, quels que soient les outils utilisés, les techniques d'apprentissage continu peuvent permettre aux LLMs utilisant des outils de s'adapter plus rapidement tout en oubliant moins, mettant en lumière leur potentiel en tant qu'apprenants continus.