UniLog : Journalisation automatique via LLM et apprentissage contextuel

La journalisation, qui vise à déterminer la position des instructions de journalisation, les niveaux de verbosité et les messages de journal, est un processus crucial pour améliorer la fiabilité des logiciels. Ces dernières années, de nombreux outils de journalisation automatique ont été conçus pour aider les développeurs dans une des tâches de journalisation (par exemple, fournir des suggestions sur la nécessité de journaliser dans les blocs try-catch). Ces outils sont utiles dans certaines situations mais ne peuvent pas offrir une solution de journalisation complète en général. De plus, bien que des recherches récentes aient commencé à explorer la journalisation de bout en bout, elle reste largement contrainte par le coût élevé du réglage fin, ce qui limite son utilité pratique dans le développement logiciel. Pour résoudre ces problèmes, cet article propose UniLog, un cadre de journalisation automatique basé sur le paradigme d'apprentissage contextuel (ICL) des grands modèles de langage (LLMs). Plus précisément, UniLog peut générer une instruction de journalisation appropriée avec seulement une invite contenant cinq exemples de démonstration, sans aucun réglage du modèle. De plus, UniLog peut encore améliorer sa capacité de journalisation après un échauffement avec seulement quelques centaines d'échantillons aléatoires. Nous avons évalué UniLog sur un large ensemble de données contenant 12 012 extraits de code extraits de 1 465 dépôts GitHub. Les résultats montrent qu'UniLog a atteint des performances de pointe dans la journalisation automatique : (1) 76,9 % de précision dans la sélection des positions de journalisation, (2) 72,3 % de précision dans la prédiction des niveaux de verbosité, et (3) 27,1 de score BLEU-4 dans la génération de messages de journal. Pendant ce temps, UniLog nécessite moins de 4 % du temps de réglage des paramètres requis par le réglage fin du même LLM.