Optimisation de l'extraction de données : Exploiter RAG et LLMs pour des documents médicaux allemands

Dans le domaine de l'analyse des données médicales, la conversion de documents textuels non structurés en un format structuré adapté à une utilisation ultérieure représente un défi majeur. Cette étude présente un pipeline automatisé déployé localement, sécurisé pour la confidentialité des données, qui utilise des modèles de langage open-source (LLMs) avec une architecture de génération augmentée par récupération (RAG) pour convertir des documents médicaux en langue allemande contenant des informations sensibles liées à la santé en un format structuré. Les tests effectués sur un ensemble de données propriétaires de 800 rapports médicaux originaux non structurés ont montré une précision allant jusqu'à 90 % dans l'extraction des données du pipeline par rapport aux données extraites manuellement par des médecins et des étudiants en médecine. Cela souligne le potentiel du pipeline en tant qu'outil précieux pour extraire efficacement des données pertinentes à partir de sources non structurées.