Un pipeline de modèle de langage large pour automatiser la solution de problèmes de programmation compétitive

Résumé L'introduction rapide récente de modèles de langage larges a permis de nouvelles approches boîte noire pour optimiser l'application de ces modèles dans divers scénarios. GPT-4 est un modèle de langage large multimodal introduit par OpenAI capable de répondre à des questions complexes, d'analyser des données nuancées et de résoudre des problèmes de programmation compliqués. La performance de GPT dépend du prompt fourni et des hyperparamètres. Cet article explore l'effet de variations mineures dans le prompt du système et les paramètres, y compris la température et le top-p, pour la génération de code et la précision du code dans les tâches de programmation compétitive. La température contrôle la quantité d'aléatoire dans la réponse, avec une température de zéro produisant une sortie déterministe. Le top-p contrôle la distribution de probabilité cumulative pour les tokens considérés pour le prochain token de sortie. Sur la base des résultats, nous proposons des approches pour optimiser les prompts du système pour la génération de code et les valeurs des paramètres afin d'améliorer la justesse du code. De plus, nous proposons un pipeline qui utilise ces améliorations pour résoudre efficacement les énigmes algorithmiques courantes dans l'éducation en informatique, ainsi que des problèmes complexes de programmation de concours.