REALM : Amélioration pilotée par RAG des analyses de dossiers de santé électroniques multimodaux via des modèles de langage larges

L'intégration des données des dossiers de santé électroniques (DSE) multimodaux a considérablement amélioré les capacités prédictives cliniques. En s'appuyant sur des notes cliniques et des DSE multivariés en série temporelle, les modèles existants manquent souvent du contexte médical pertinent pour les tâches cliniques, ce qui incite à l'incorporation de connaissances externes, en particulier provenant du graphe de connaissances (KG). Les approches précédentes avec des connaissances KG se sont principalement concentrées sur l'extraction de connaissances structurées, négligeant les modalités de données non structurées et des connaissances médicales sémantiques de haute dimensionnalité. En réponse, nous proposons REALM, un cadre de génération augmentée par récupération (RAG) pour améliorer les représentations des DSE multimodaux qui répondent à ces limitations. Premièrement, nous appliquons des modèles de langage larges (LLM) pour encoder les longues notes cliniques contextuelles et un modèle GRU pour encoder les données DSE en série temporelle. Deuxièmement, nous demandons au LLM d'extraire des entités médicales pertinentes pour la tâche et de faire correspondre ces entités dans le graphe de connaissances externes professionnellement étiqueté (PrimeKG) avec les connaissances médicales correspondantes. En faisant correspondre et en alignant avec les normes cliniques, notre cadre élimine les hallucinations et garantit la cohérence. Enfin, nous proposons un réseau de fusion multimodal adaptatif pour intégrer les connaissances extraites avec les données DSE multimodales. Nos expériences approfondies sur les tâches de mortalité et de réadmission de MIMIC-III mettent en avant la performance supérieure de notre cadre REALM par rapport aux références, soulignant l'efficacité de chaque module. Le cadre REALM contribue à affiner l'utilisation des données DSE multimodales dans les soins de santé et à combler le fossé avec un contexte médical nuancé essentiel pour des prédictions cliniques éclairées.