AICoderEval : Améliorer la génération de code de domaine AI des grands modèles de langage

La génération de code automatisée est une capacité essentielle des grands modèles de langage (LLMs). Cependant, évaluer cette capacité dans des scénarios réels reste un défi. Les méthodes précédentes se concentrent davantage sur la génération de code de bas niveau, comme le chargement de modèles, plutôt que sur la génération de codes de haut niveau adaptés aux tâches réelles, telles que la conversion d'images en texte, la classification de texte, dans divers domaines. Par conséquent, nous construisons AICoderEval, un ensemble de données axé sur des tâches réelles dans divers domaines basé sur HuggingFace, PyTorch et TensorFlow, ainsi que des métriques complètes pour l'évaluation et l'amélioration de la capacité de génération de code spécifique aux tâches des LLMs. AICoderEval contient des cas de test et des programmes complets pour l'évaluation automatisée de ces tâches, couvrant des domaines tels que le traitement du langage naturel, la vision par ordinateur et l'apprentissage multimodal. Pour faciliter la recherche dans ce domaine, nous open-sourçons l'ensemble de données AICoderEval à https://huggingface.co/datasets/vixuowis/AICoderEval. Par la suite, nous proposons CoderGen, un cadre basé sur des agents, pour aider les LLMs à générer des codes liés à des tâches réelles sur l'AICoderEval construit. De plus, nous formons un modèle de génération de code spécifique aux tâches plus puissant, nommé AICoder, qui est affiné sur llama-3 basé sur AICoderEval. Nos expériences démontrent l'efficacité de CoderGen dans l'amélioration de la capacité de génération de code spécifique aux tâches des LLMs (de 12,00 % sur pass@1 pour le modèle original et de 9,50 % sur pass@1 pour l'Agent ReAct). AICoder surpasse également les actuels LLMs de génération de code, indiquant la grande qualité du benchmark AICoderEval.