Analyse de logs interprétable en ligne utilisant de grands modèles de langue avec des stratégies de prompt

L'analyse automatisée des logs est cruciale dans les systèmes modernes intensifs en logiciels pour faciliter la compréhension des programmes tout au long des cycles de maintenance et d'ingénierie des logiciels. Les méthodes existantes effectuent des tâches telles que le parsing de logs et la détection d'anomalies dans les logs en fournissant une seule valeur de prédiction sans interprétation. Cependant, compte tenu du volume croissant d'événements système, la capacité d'interprétation limitée des résultats d'analyse entrave la compréhension par les analystes de l'état du programme et leur capacité à prendre des mesures appropriées. De plus, ces méthodes nécessitent des données d'entraînement substantielles dans le domaine, et leur performance décline fortement (jusqu'à 62,5 %) dans les scénarios en ligne impliquant des logs non vus de nouveaux domaines, un phénomène courant en raison des mises à jour rapides des logiciels. Dans cet article, nous proposons LogPrompt, une nouvelle approche d'analyse de logs interprétable pour les scénarios en ligne. LogPrompt utilise de grands modèles de langue (LLMs) pour effectuer des tâches d'analyse de logs en ligne via un ensemble de stratégies de prompt avancées adaptées aux tâches de logs, ce qui améliore les performances des LLMs jusqu'à 380,7 % par rapport à des prompts simples. Des expériences sur neuf ensembles de données d'évaluation disponibles publiquement à travers deux tâches montrent que LogPrompt, bien qu'il ne nécessite aucune formation dans le domaine, surpasse les approches existantes entraînées sur des milliers de logs jusqu'à 55,9 %. Nous menons également une évaluation humaine de l'interprétabilité de LogPrompt, avec six praticiens possédant plus de 10 ans d'expérience, qui ont fortement évalué le contenu généré en termes d'utilité et de lisibilité (en moyenne 4,42/5). LogPrompt présente également une compatibilité remarquable avec les LLMs open source et de plus petite échelle, ce qui le rend flexible pour un déploiement pratique. Le code de LogPrompt est disponible à l'adresse https://github.com/lunyiliu/LogPrompt.