DolphCoder : Localiser par écho les grands modèles de langage pour le code avec un réglage d'instructions diversifié et multi-objectif

Les grands modèles de langage pour le code (Code LLM) ont démontré une performance remarquable dans les tâches liées au code. Plusieurs approches de réglage par instructions ont été proposées pour améliorer la génération de code des Code LLM pré-entraînés. Dans cet article, nous présentons un modèle d'instructions diversifié (DolphCoder) avec auto-évaluation pour la génération de code. Il apprend des objectifs d'instructions variés et combine un objectif d'évaluation du code pour renforcer sa capacité à générer du code. Notre modèle atteint des performances supérieures sur les benchmarks HumanEval et MBPP, apportant de nouvelles perspectives pour les futurs travaux de réglage d'instructions pour le code. Nos principales conclusions sont : (1) Augmenter des réponses plus diversifiées avec des raisonnements distincts accroît la capacité en code des LLM. (2) Améliorer leur capacité à évaluer la correction des solutions de code renforce également leur aptitude à les créer.