AvaTaR : Optimisation des agents LLM pour la récupération de connaissances assistée par outils

Les agents de modèles de langage large (LLM) ont démontré une capacité impressionnante à utiliser des outils externes et des connaissances pour améliorer la précision et réduire les hallucinations. Cependant, développer les techniques de sollicitation qui permettent aux agents LLM d'utiliser efficacement des outils et des connaissances externes est une tâche heuristique et laborieuse. Ici, nous introduisons AvaTaR, un cadre automatique et novateur qui optimise un agent LLM pour utiliser efficacement les outils fournis et améliorer ses performances sur une tâche/un domaine donné. Pendant l'optimisation, nous concevons un module de comparaison pour fournir itérativement des sollicitations perspicaces et holistiques à l'agent LLM via un raisonnement entre des exemples positifs et négatifs échantillonnés à partir des données d'entraînement. Nous démontrons AvaTaR sur quatre ensembles de données de récupération multimodale complexes présentant des informations textuelles, visuelles et relationnelles. Nous constatons qu'AvaTaR surpasse systématiquement les approches à la pointe de la technologie dans les quatre tâches difficiles et présente une forte capacité de généralisation lorsqu'il est appliqué à des cas nouveaux, atteignant une amélioration relative moyenne de 14 % sur la métrique Hit@1. Le code et l'ensemble de données sont disponibles sur https://github.com/zou-group/avatar.