Performance des modèles de langage open-source pour extraire des symptômes des notes cliniques

Dans cette étude, nous avons examiné dans quelle mesure les modèles de langage fondamentaux open-source (LLMs) peuvent extraire des symptômes et des signes (S&S), ainsi que leurs codes CIM-10 correspondants, à partir des notes cliniques trouvées dans le jeu de données public MTSamples. Le jeu de données comprenant des notes de patients atteints de conditions urogénitales a été annoté manuellement pour comparer les résultats d'extraction des S&S avec les sorties générées par les LLMs. Nous avons évalué trois versions du modèle Llama—Llama 3.1-13B, Llama 3.3-70B et Me-Llama-13B—en nous concentrant sur leur cohérence, leur temps d'exécution et leurs performances. Chaque modèle a été testé sur deux tâches : (1) extraction de S&S et (2) génération de codes CIM-10. Nos résultats indiquent que Llama 3.3-70B a obtenu les meilleures performances globales. Avec un temps d'exécution rapide et une haute cohérence, il a atteint un rappel moyen de 0,87 et une précision moyenne de 0,71 pour l'extraction de S&S, ainsi qu'un rappel moyen de 0,71 et une précision moyenne de 0,54 pour la génération de codes CIM-10.