MAGIS: Cadre Multi-Agent Basé sur des LLM pour la Résolution des Problèmes GitHub

Dans l'évolution des logiciels, résoudre les problèmes émergents au sein des dépôts GitHub est un défi complexe qui implique non seulement l'incorporation de nouveau code mais aussi le maintien des fonctionnalités existantes. Les Modèles de Langage de Grande Taille (LLM) ont montré leur potentiel dans la génération et la compréhension du code, mais rencontrent des difficultés concernant les modifications du code, notamment au niveau du dépôt. Pour surmonter ces défis, nous étudions empiriquement les raisons pour lesquelles les LLM échouent principalement à résoudre les problèmes GitHub et analysons certains facteurs d'impact. Motivés par les résultats empiriques, nous proposons un nouveau cadre Multi-Agent basé sur les LLM pour la résolution des problèmes GitHub, MAGIS, constitué de quatre types d'agents adaptés à l'évolution du logiciel : Manager, Gardien de Dépôt, Développeur, et Ingénieur Assurance Qualité. Ce cadre tire parti de la collaboration de divers agents dans le processus de planification et de codage pour libérer le potentiel des LLM à résoudre les problèmes GitHub. Dans nos expériences, nous utilisons le benchmark SWE-bench pour comparer MAGIS avec des LLM populaires, y compris GPT-3.5, GPT-4, et Claude-2. MAGIS peut résoudre 13.94 % des problèmes GitHub, surpassant significativement les références. Plus précisément, MAGIS atteint une augmentation multipliée par huit du taux de résolution par rapport à l'application directe de GPT-4, le LLM de base de notre méthode. Nous analysons également les facteurs permettant d'améliorer les taux de résolution des problèmes GitHub, tels que l'emplacement des lignes, l'allocation des tâches, etc.